python
饭饭童鞋
菜鸟一个,若有问题,请多包涵
展开
-
TypeError: Request url must be str or unicode, got Selector
使用scrapy进行爬虫时出现如下报错:TypeError: Request url must be str or unicode, got Selector的解决方法原创 2023-04-13 22:26:21 · 452 阅读 · 1 评论 -
刷题随记2
sorted和sort的区别:(1)sort函数没有返回值,会改变原元素的值;sorted函数有返回值,不会改变原元素的值。(2)sort()一般作用于列表;sorted()作用于任意可迭代的对象。(3)sort使用方法为ls.sort(),而sorted使用方法为sorted(ls)。原创 2022-12-20 19:30:44 · 539 阅读 · 0 评论 -
刷题知识点随记
VLOOKUP的使用方法VLOOKUP(要查找的值,查找的区域,查找区域返回的列,查找模式)第4个参数,查找模式:0表示精确匹配,1表示模糊匹配比如查询当前用户id的性别:VLOOKUP(用户id,A2:C6,性别,1)原创 2022-07-18 11:42:46 · 374 阅读 · 0 评论 -
python将dict数据写入json文件中
现在获取一个医药网站的数据,最终转换成dict类型,需要将数据写入JSON文件中,以方便后面数据的使用with open('./medical.json', 'w',encoding='utf-8') as fp: json.dump(data, fp)但得到的最终数据却是这样:本来应该是正常的中文字符串,却是ASCII编码,因此在dump方法中添加一个ensure_ascii参数,原因是dump()方法将字典转化为字符串,会默认将其中unicode码以ascii编码的方式输入到字符串中w原创 2022-01-18 10:49:05 · 3587 阅读 · 0 评论 -
DeprecationWarning: use options instead of chrome_options driver = webdriver.Chrome(path, chrome_o
使用selenium进行获取一些数据时,运行时一直报警告:‘DeprecationWarning: use options instead of chrome_options driver = webdriver.Chrome(path, chrome_options=option)’虽然不是个错误,但还是解决一下,可能是参数进行了替换吧,将chrome_options变成options就行了...原创 2022-01-06 09:15:05 · 2671 阅读 · 0 评论 -
1054, “Unknown column ‘pname‘ in ‘field list‘“
1054, "Unknown column 'pname' in 'field list'"原创 2021-12-30 22:36:49 · 530 阅读 · 0 评论 -
not all arguments converted during string formatting
在使用python将获取的数据存入mysql中时,一直报错后来发现是自己写sql的插入数据语句出现了问题,前面的需要的参数数量和后面%s格式化数量不一致,只需要写一致就可以啦原创 2021-12-29 09:36:59 · 1305 阅读 · 0 评论 -
TypeError: can only concatenate str (not “module“) to str
在使用python进行数据爬取时,直接将需要的字段进行合并,然鹅出现了以下的错误因为只能连接str到str,所以将字段类型转换成str类型就行了原创 2021-12-25 20:34:08 · 1454 阅读 · 0 评论 -
python爬虫报错‘gbk‘ codec can‘t encode character ‘\u202c‘ in position 1: illegal multibyte sequence
最近在网上爬取一些自己毕业设计需要用的数据,但是一直报这样的错误:主要是将爬取的数据写入到新的文件中,我们需要指定新文件的编码格式,因此将保存内容文件的代码修改如下:def save(item, path): # path文件保存路径,item数据列表 with open(path, "w+", newline='',encoding='utf-8') as f: write = csv.writer(f) write.writerows(item)OK原创 2021-12-17 21:04:48 · 1352 阅读 · 4 评论 -
InvalidSessionIdException: Message: invalid session id
在使用selenium进行自动获取信息时,报错:InvalidSessionIdException: Message: invalid session id因为我需要获取多个页面的数据,让他自动进入下一页获取信息,但是我却在让他在第一页完了后就关闭了,因此会报错去掉关闭就行了...原创 2021-12-10 19:36:32 · 2668 阅读 · 0 评论 -
如何使用python快速读取tsv文件
import pandas as pddata = pd.read_csv('products.tsv', sep='\t')data如果对tsv文件不太习惯,可以将读取了的文件保存为csv格式data.to_csv('test.csv')原创 2021-11-22 15:10:24 · 5688 阅读 · 0 评论 -
TypeError: __init__() takes 1 positional argument but 5 positional arguments (and 1 keyword-only arg
使用python代码想将Excel表格里的数据直接存入数据时,却在连接数据库时报出这样的错误:TypeError: __ init __() takes 1 positional argument but 5 positional arguments (and 1 keyword-only argument) were given不知道是为啥吧,我把参数名加上,然后就得行了db = pymysql.connect( host='localhost', user='roo原创 2021-10-13 08:52:11 · 1555 阅读 · 2 评论 -
如何快速取JSON里的值
import jsoncomments = requests.get('http://comment5.news.sina.com.cn/page/info?version=1&format=js&channel=gn&newsid=comos-fyfzhac1650783')comments.encoding = 'utf-8'print(comments)jd = json.loads(comments.text.strip('var data=')) #移除改var d原创 2021-10-06 11:38:34 · 1678 阅读 · 0 评论 -
SciPy科学计算
一、SciPy中的常数与特殊函数1.SciPy的constants模块from scipy import constants as Cprint("圆周率:",C.pi) #圆周率print("黄金比例:",C.golden) #黄金比例print("真空中的光速:",C.c) #真空中的光速print("普朗克常数:",C.h) #普朗克常数print("一英里等于多少米:",C.mile) #一英里等于多少米print("一英寸等于多少米:",C.inch) #原创 2021-09-21 12:20:31 · 639 阅读 · 1 评论 -
selenium基础练习
#4.32selenium基本使用from selenium import webdriver #导入webdriverimport timewd=webdriver.Chrome("D:/chromedriver.exe")#获取Chrome驱动实例,Webdriver 后的方法名是浏览器的名称,# 参数可以省略,但是需要将驱动的路径放入到系统的环境变量中wd.get("http://www.baidu.com") #打开百度,wd.get(url)可以打开指定的网页。time.sle原创 2021-09-20 18:46:55 · 403 阅读 · 0 评论 -
使用Xpath爬取人邮教育社区的书籍信息
爬取链接:https://www.ryjiaoyu.com/tag/details/7我们只需要获取书名、作者、价格、详情链接的信息代码如下:import requests #调用requests库import csv #调用csv模块from lxml import etree #调用lxml库def get_html(url): #建立get_html函数,实现网页内容获取 try: headers={"User-Agent":"Mozilla/5.0原创 2021-09-19 23:25:38 · 2211 阅读 · 0 评论 -
静态网络爬虫之Xpath学习
一、XPath简介XPath即为XML路径语言(XMLPathLanguage),它是一种用来确定XML文档中某部分位置的语言。XPath被开发者用来当作小型查询语言,基于XML的树状结构,用于定位元素节点、属性节点、文本节点,提供在数据结构树中找寻节点的能力。二、安装lxml库直接输入以下命令进行安装pip install lxml但是一般这样安装可能会出现很多问题,可以采用以下的方法进行解决:1.下载并安装whl安装包从http://www.lfd.uci.edu/~gohlke/pyt原创 2021-09-19 12:15:55 · 228 阅读 · 0 评论 -
时间序列数据分析-02
一、日期范围、频率和移位(1)日期范围1.使用data_range函数可以创建指定长度的DatetimeIndex索引import pandas as pdindex=pd.date_range('2021-9-12','2021-10-1')index结果:DatetimeIndex(['2018-12-28', '2018-12-29', '2018-12-30', '2018-12-31', '2019-01-01', '2019-01-02', '201原创 2021-09-17 20:17:36 · 716 阅读 · 0 评论 -
时间序列数据分析学习-01
一、日期和时间数据类型1.datetime构造类型使用说明date日期(年、月、日)time时间(时、分、秒、毫秒)datetime日期和时间timedelta两个datetime的差(日、秒、毫秒)tzinfo用于存储时区信息的基本类型(1)date类型数据的创建import datetimedate=datetime.date(2021,9,10)print(date) #2021-09-10print(date.year,da原创 2021-09-11 08:54:51 · 418 阅读 · 0 评论 -
pyecharts可视化展示之仪表盘、词云、组合图表、桑基图学习
一、绘制仪表盘通过Gauge绘制仪表盘#仪表盘from pyecharts import options as optsfrom pyecharts.charts import Gauge,Pagega=Gauge()ga.add("商家A",[("购买率",55.5)],axisline_opts=opts.AxisLineOpts(linestyle_opts=opts.LineStyleOpts(color=[(0.3,"#67e0e3"),原创 2021-09-10 15:01:02 · 539 阅读 · 0 评论 -
pyecharts可视化展示之绘制漏斗图、散点图、K线图学习
一、绘制漏斗图通过Funnel绘制漏斗图#漏斗图from pyecharts.charts import Funneldata=[24,35,66,48,90]Label=['签字笔','课桌','椅子','黑板','投影仪']wf=Funnel()wf.add("销售图",[list(z) for z in zip(Label,data)],is_selected=True)wf.render_notebook()二、绘制散点图通过Scatter绘制散点图from pyechar原创 2021-09-10 09:06:21 · 1051 阅读 · 0 评论 -
pyecharts可视化展示之柱状图、饼图学习
pyecharts基本上的图表类型绘制:chart_name=Type() #初始化具体类型图表chart_name.add() #添加数据及配置项chart_name.render() #生成本地文件(html/svg/jpeg/png/pdf/gif)chart_name.render_notebook #在jupyter notebook中显示一、安装pyecharts打开cmd直接输入pip install pyecharts或者加入清华镜像pip insta原创 2021-09-08 22:29:14 · 3911 阅读 · 1 评论 -
解决cv2.putText能显示中文为“????”的问题
import cv2import numpy as npfrom PIL import Image, ImageDraw, ImageFontfor i in range(5): fname = './hecheng/{}.jpg'.format(i) img = cv2.imread(fname) # 画矩形框 距离靠左靠上的位置 # p1指的是框左边上边到图像左边上边距离 # p2指的是框右边下边到图像左边上边距离 # fname就写自己图片所在位置原创 2021-09-06 17:49:43 · 8634 阅读 · 1 评论 -
python读取Excel表格中的某sheet名称
如何快速读取一个Excel中某个sheet里的内容目前某个Excel文件包含以下5个sheet#绘制散点图import xlrddata=xlrd.open_workbook("D:\\data\\a.xls")#打开excel文件sheet=data.sheet_by_index(0)#根据下标获取工作薄,这里获取第一个sheetprint(sheet.col_values(0)) #获取第一列的内容也可以这样获取import pandas as pddata=pd.read_exc原创 2021-09-04 22:38:02 · 7879 阅读 · 0 评论 -
Seaborn可视化
一、风格设置绘制曲线import seaborn as snsimport numpy as npimport matplotlib.pyplot as pltdef sinplot(flip=2): x=np.linspace(0,20,50) for i in range(1,5): plt.plot(x,np.cos(x+i*0.8)*(9-2*i)*flip)sinplot()#设置风格sns.set(style='darkgrid',font_s原创 2021-09-04 22:10:33 · 156 阅读 · 0 评论 -
python基础编程
一、流程控制语句判断一个学生的考试成绩是否及格:如果大于或等于60分,则打印“及格”,否则输出“不及格”score=float(input("请输入成绩:"))if score>=60: print("及格")else: print("不及格")#一个if语句最多只能拥有一个else子句,且else子句必须是整条语句的最后一个子句,else没有条件将化学分子式翻译为其所表示物质对应的英文com=input("请输入:")if com=='H2O': print原创 2021-09-04 15:18:44 · 5857 阅读 · 0 评论