- 博客(25)
- 收藏
- 关注
RSS订阅原创 pd.read_csv中文乱码
把csv文件用记事本打开，然后选择“另存为”，设置编码为”utf-8“。选文件类型”所有文件”。再用jupyter pd.read_csv 读取即可
2022-04-19 16:39:14
432
原创 SMOTE object has no attribute ‘fit_sample‘
解决：把fit_sample改成fit_resample
2022-03-28 15:21:37
3805
4
原创 ERROR: Could not find a version that satisfies the requirement imblearn (from versions: none)
问题：juputer中安装imblearn：pip install imblearn 出现错误解决:加上镜像源如下：pip install imblearn -i https://pypi.tuna.tsinghua.edu.cn/simple 仍然报错，清华镜像源没找到，再换一个：pip install imblearn -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com成功安装...
2022-03-28 15:05:47
916
原创 jupyter notebook怎么切换环境
有些包安装在base环境下，新建一个ipynb文件，找不到相应包解决：切换如果没有选项，则：1.cmd；pip install ipykernel2.将选择的环境注入Jupyter Notebook：python -m ipykernel install --user --name base --display-name "Python [conda env:base]"此时再次打开jupyter就可以切换了...
2022-02-19 18:01:39
1165
原创 LinkError: post-link script failed for package defaults::ipykernel-4.10.0-py35_0
下载tensorflow，在安装jupyter时报错原因：按照网上的教程创建虚拟环境时用的python=3.5，而我自己的环境是3.8，重新创一个3.8的虚拟环境即可
2022-02-19 17:15:35
2284
1
原创 ProxyError: Conda cannot proceed due to an error in your proxy configuration.Check for typos and ot
关掉正在运行的win10代理软件，即可安装tensorflow虚拟环境
2022-02-19 15:56:52
630
原创 pymysql.err.DataError: (1265, “Data truncated for
原因：插入数据时数据不是数字，而是如：3,111 有逗号，去掉即可
2022-02-15 18:35:44
1605
原创 HTTP429
解释：Too Many Requests (太多请求)，即访问次数过于频繁解决：使用ip代理池可以解决，不过有些如果代理ip的质量不高，则只有部分ip会生效，过程中还会报错：TunnelError，以及仍然会有很多response_ignored_status_count/429...
2022-02-15 16:44:31
6178
原创 TypeError: ‘method‘ object is not subscriptable
原因：调用xpath方法是写成了xpath[]，括号写错
2022-02-15 15:00:18
199
原创 requests.exceptions.HTTPError: 503 Server Error: Service Temporarily Unavailable for url:
爬取某网页时报错原因：爬取速度太快被发现解决：每爬取一次休息一次，模拟用户访问time.sleep(5) 或time.sleep(10)等等
2022-02-15 13:35:38
939
原创 TypeError: list indices must be integers or slices, not str
原因：json以键值对方式存储信息，但本例中：progressive下的多个值值是以列表方式存储错误代码：['data']['resource']['progressive']['0']['url']改为：['data']['resource']['progressive'][0]['url']
2022-02-12 17:07:14
435
原创 Filtered off site request to
爬取某网页时没有得到内容，查看debug发现：原因：二次解析的域名被过滤掉解决：将Filtered off site request to后的这个url加入到
2022-02-12 17:00:52
281
原创 TypeError: not enough arguments for format string
原因：写url时，地址中本身就有%，python 认为它是转移符解决：在该%前再加一个%
2022-02-12 16:17:10
195
原创 scrapy爬取时出现错误：Forbidden by robots.txt: ＜GET https://www.xinpianchang.com/channel/index/sor
原因：要爬取网站的robot协议禁止一切爬取，而scrapy遵守robot协议解决：在setting.py文件中修改ROBOTSTXT_OBEY为false，即不遵守
2022-02-12 15:11:30
671
原创 爬虫一些本该输出为中文的字段输出为none
原因：提取内容时用了tag.string()，查看源码，发现标签内容为：<td data-v-428f2a6c> 综合 <!----></td>多了 <!---->解读：当tag 包含了多个子节点，tag 就无法确定 .string 方法应该调用哪个子节点的内容, .string 的输出结果是 None解决：将tag.string()换成tag.t
2022-02-10 16:46:10
2276
1
原创 [Previous line repeated 995 more times]RecursionError: maximum recursion depth exceeded
原因：函数没有写return结束，递归调用太多次
2022-02-10 13:37:30
5153
原创 Expression #1 of ORDER BY clause is not in SELECT list, references column ‘d.dept_no‘ which is not i
问题：添加distinct报错原因：mysql5.7.5及以上版本将sql_mode的ONLY_FULL_GROUP_BY模式默认设置为打开状态时，导致：使用order by的时候不能用distinct解决：set global sql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION';该.
2022-02-09 19:35:40
1584
原创 TypeError: sequence item 5: expected str instance, list found
原因，列表中的item5不是str类型，而是列表类型打印出来为[\'2504545\']解决：在前面for循环的时候，用str()转化 print(",".join('%s' %id for id in list1))新问题：转换后，又报错pymysql.err.ProgrammingError: (1064, 'You have an error in your SQL syntax; check the manual that corresponds to your MySQL s
2021-12-14 17:01:13
1291
2
原创 python导入数据到mysql中，出现nbsp
实际上是\xa0，为不间断空白符设这段数据为data，则data = re.sub('\xa0',' ',data)即可解决
2021-12-14 16:52:22
1175
原创 python：登录跳转 有异常请求从你的 IP 发出
原因：爬虫代码比较初级, 触发了目标网站的的反爬虫机制,导致即使代码正确，结果不全或者为空。解决方法:重启路由器，调整IP 用sleep调整爬取数据的时间间隔 伪装 ip 降低爬取速度
2021-12-13 22:48:54
7014
原创 UnicodeDecodeError: ‘utf-8‘ codec can‘t decode byte 0x8b in position 1: invalid start byte错误
python爬取b站某视频时出现错误原因：没有解码解决：导入：from io import BytesIOimport gzip解码操作：h = response.read()buff = BytesIO(h)f = gzip.GzipFile(fileobj=buff)html = f.read().decode('utf-8')
2021-12-13 16:36:30
1117
原创 解决pycharm中无法安装包，或者安装了仍然无法使用的问题
如下图方式安装不成功，显示pip版本需要升级的问题：cmd方式安装bs4仍然失败：cmd以管理员身份运行，输入python -m pip install --upgrade pip，将pip升级到最新版完成后可输入：pip list查看此时输入：pip install bs4 成功输入python；import bs4，没有报错则成功；exit()退出但此时发现在pycharm中仍然无法导入bs4：原因：安装的bs4不在该项...
2021-12-13 13:57:00
19108
1
原创 在pycharm中使用anaconda的包
方法一：创建新项目时：方法二： 或者如果要删除或者使用其他项目的环境：注意：使用anaconda的环境时，写代码不太好用，同时比较卡
2021-12-13 13:26:01
929
原创 安装python到c盘出现错误：verify that you have accessto that directory
安装时，右键安装文件--以管理员身份运行
2021-12-12 17:09:08
5937
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人