- 博客(25)
- 收藏
- 关注
RSS订阅原创 C:\Program Files (x86)\Microsoft Visual Studio\2019\...\x64\cl.exe
CompileError: command 'C:\\Program Files (x86)\\Microsoft Visual Studio\\2022\\BuildTools\\VC\\Tools\\MSVC\\14.34.31933\\bin\\HostX86\\x64\\cl.exe' failed with exit code 2
2023-01-04 16:49:35
396
原创 superset根据用户筛选数据源（row level security)
参考链接：https://github.com/apache/incubator-superset/pull/8699centos系统下 0.36，0.37版本测试过，可以实现步骤：1、更新superset目录下 config.py 文件中 ENABLE_ROW_LEVEL_SECURITY=True2、重新执行 superset init...
2020-09-03 18:27:24
1459
原创 windows下superset数据库查询出错及乱码
查了很多资料，并且在不断调试。所以无法一一列出出处，如有侵权，麻烦评论区留言会及时加上# supsert 查询出错更改虚拟环境中 site-packages\superset\utils\core.py 文件。将红框中的 代码注释调， 加上pass# 使用sqllab 查询出现乱码错误格式： 使用 mysql://用户名:密码@端口号 的格式中文可能...
2020-04-24 16:39:57
1272
原创 selenium.common.exceptions.WebDriverException: Message: unknown error: Runtime.executionContextCreat
参考链接：https://stackoverflow.com/questions/41832859/selenium-runtime-executioncontextcreated-has-invalid-context具体错误提示如下：selenium.common.exceptions.WebDriverException: Message: unknown error: Runtim...
2019-09-27 10:19:34
1972
原创 UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd6 in position 0: invalid continuation byte
参考链接：https://stackoverflow.com/questions/19699367/unicodedecodeerror-utf-8-codec-cant-decode-byte?rq=1文件编码格式错误，按照图片中 encoding='utf-8' 替换为 encoding='ISO-8859-1'。用 pandas 读取文件出出现上述错误，也是在后面加正确的编码格...
2019-08-31 21:53:54
3854
原创 charles安装及设置（三星手机）
charles安装部分可以直接参考：https://www.jianshu.com/p/1e76df89207b接下来1.打开charles2.将电脑和手机连接到同一个局域网下（路由器） 如果是苹果手机直接参考上面连接。三星手机设置有点不一样，它的代理设置是在连接新的无线网时设置的 如果已经连接，先将无线网忘记，然后再点击会显示如下界面。 输入无线网密码，...
2019-07-02 18:35:48
9609
原创 ValueError: could not convert string to float: 'Q'
可能是特征中有字符串类型，需要将特征转换成int 或float 就好了
2019-06-21 23:15:58
5520
原创 TypeError: can‘t pickle _thread.lock objects
参考链接：https://blog.csdn.net/weixin_41935140/article/details/81153611在实现多进程时遇到这个问题：class Scheduler(object): def __init__(self): self.redis = RedisClient() def schedule_get(...
2019-03-10 11:17:29
2837
原创 代理池（python爬虫）
参考资料：python3网络爬虫开发实战代理池共分为四个模块：‘获取模块’，‘存储模块’，’检测模块‘，(’api‘模块）获取模块：主要通过元类实现，各大代理的抓取 存储模块：通过redis有序集合并通过检测模块检测代理是否可用 检测模块：通过asyncio和aiohttp实现异步并发请求，从而达到快读检测代理的有效性 api模块：（个人感觉有点鸡肋了）用flask构建一个本地a...
2019-01-07 22:56:20
649
原创 Redis 常用操作
参考自：python3网络爬虫开发实战 # 连接方式 一 import redis redis = redis.StrictRedis(host='localhost', port=6379, db=0, password=None)# 连接方式 二from redis import StrictRedis, ConnectionPool pool = ConnectionPoo...
2019-01-07 22:15:28
272
原创 command 'x86_64-linux-gnu-gcc' failed with exit status 1（ubuntu安装scrapy）
参考链接：https://blog.csdn.net/keith_bb/article/details/65435337 https://github.com/scrapy/scrapy/issues/2115ubuntu1.安装scrapy 依赖（python3）：sudo apt-get install python3 python-dev ...
2018-12-04 17:53:23
1039
原创 Unable to locate package python3-pip（阿里云服务器，ubuntu）
参考链接：https://community.c9.io/t/how-to-install-pip-for-python3/3196ubuntu系统默认没有pip3在安装pip3之前需要先更新下： sudo apt-get update然后在执行安装命令 sudo apt-get install python3-pip 安装完成之后可能还会遇到：Import...
2018-12-04 15:55:28
3254
原创 pdf 转换格式txt，doc工具 免费
免费的转换工具：https://pdftotext.com/关键是免费的！！！ python 3 可以用 pdfminer3k 将pdf文件转换为其他格式的文件。如果不花点时间看官方文档（当然我没看），转换的格式上会出现很多问题。csdn里有很多教程。pdf格式转换，也是偶尔才用到一次所以懒得花时间了。网上很多软件多是收费的。pdftotext不收费还是很良心的工具 ...
2018-11-20 20:02:09
486
原创 python 将csv文件转为json格式的文件
参考链接：https://stackoverflow.com/questions/19697846/how-to-convert-csv-file-to-multiline-json 如果想从本地文件将数据存入 MongoDB， 数据的格式必须是 csv 或者 json格式 在将 csv 格式的文件存入mongodb时，列元素之间的顺序错开了 所以想将 csv 格式的文件转为 ...
2018-09-13 21:08:33
18590
4
原创 python如何连接公司或者非本地mongoDB数据库，并存入数据
磨刀不误砍柴工，花点时间看mongodb的教程还是必要的，菜鸟教程里有：http://www.runoob.com/mongodb/mongodb-tutorial.html client = pymongo.MongoClient('mongodb://用户名:密码@host:27017')需要填写的三个参数： 用户名， 密码， hostimport pymongo# mo...
2018-09-12 17:39:44
1467
翻译 （Scrapy）AttributeError: 'str' object has no attribute 'iter'
参考链接：https://stackoverflow.com/questions/29081330/scrapy-str-object-has-no-attribute-iter 在StackOverflow上找到的 restrict_xpaths应该指向元素 - 要么直接是链接要么包含链接而不是属性...
2018-08-28 09:04:01
3077
原创 TypeError: can only concatenate list (not "str") to list
类型错误： 只能将list类型和list类型联系起来，而不是str类型 出现上述类型错误： 判断一下需要连接的两个变量的类型。 如果是将str类型加入list用append添加，如果是移除用pop或remove ...
2018-08-03 17:11:08
33222
原创 爬取花瓣网并批量下载图片
f12查看网页源码，当下拉的时候会出现ajax请求点击上图中的url，在headers最后一栏，比对后发现网页的url基本相同除了page会变以下是源码import requests, osfrom urllib.parse import urlencodefrom bs4 import BeautifulSoup as bs from selenium imp...
2018-07-27 21:34:10
5498
1
原创 UnboundLocalError: local variable 'img' referenced before assignment
出现上述问题多半是 变量img为能获取相应数据， 但是在下方程序中使用 避免出现类似的问题，使用try，except, else还是必要的try: ...except xxx: ...else: ... 或者用在变量赋值前用 if 判断变量是否为空...
2018-07-25 20:42:22
10168
原创 matplotlib错误：TypeError: unsupported operand type(s) for -: 'str' and 'str'
line_chart.add('收盘价', closes)在加入Y轴元素时， 必须确保加入的数组closes中的元素不是字符串类型，否则就会出现标题中的报错。添加数组中的元素时改成这样 closes.append(int(float(data['close']))) 能将数组元素变为整型 ...
2018-07-23 19:11:56
8533
原创 豆瓣电影排行榜爬取
#请求页已经能够得到数据，但是自己整理下感觉会更好些import requests, jsondef main(page): url = 'https://movie.douban.com/j/chart/top_list?type=11&interval_id=100%3A90&action=&start=' + str(page) + '&limit=...
2018-07-19 22:50:07
891
原创 爬取猫眼电影排行榜
参考自：《python3 网络爬虫开发实战》 用正则查找import requests, re, jsondef main(offset): #通过观察url看出只有offset后面的值在变 url = 'http://maoyan.com/board/4?offset=' + str(offset) headers = { 'User-Agent': 'Mo...
2018-07-19 21:01:32
444
原创 (unicode error) 'utf-8' codec can't decode byte 0xc4 in position 0: invalid continuation byte
参考博客：https://blog.csdn.net/ch7543658/article/details/44309853 编译器有默认的编码格式Geany默认编码格式是gbk 所以只要选择utf-8，在注释或者给变量赋值时就不会报错了 geany的设置方式如下，其他编译器应该类似...
2018-07-11 11:40:49
7317
1
转载 'gbk' codec can't encode character '\U0001f631' in position 56376: illegal m的解决办法
引自：https://www.cnblogs.com/themost/p/6603409.html 在windows下面新文件的默认编码是gbk，所以想要向新文件里写数据需要改变新文件的代码： with open('rsp.html', 'w', encoding='utf-8') as f:...
2018-07-10 10:55:09
4036
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人