![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 83
若如初见kk
人生苦短,我用python!
展开
-
【Python-ERROR】‘gbk‘ codec can‘t encode character ‘\xa0‘ or ‘\u2003‘ in position XXX
在通过Python爬取网页时,通过print函数输出内容进行调试,但是总会遇到解码不了的字符,试过各种方法都不行,错误代码如下:> 'gbk' codec can't encode character '\xa0' in position 8186: illegal multibyte sequence可以利用translate方法、split()解决,并且还可以替换\t \n字符原创 2021-11-23 00:08:08 · 3453 阅读 · 0 评论 -
Python文件编译或打包成exe文件,直接在其它Windows电脑上运行
Python文件编译成exe文件1.安装编译工具2.编译命令3.编译后exe文件太大问题可能遇到的问题解决办法将Python文件编译成exe文件后,可以直接在Windows上运行,不需要再依赖Python环境,可以复制到其他电脑中直接使用,特别方便。1.安装编译工具pyinstaller是Python中将py文件编译成为exe文件的免费工具,特别好用,在Windows中,pyinstaller依赖pywin32,所在如果打包有问题请先安装pywin32模块,安装命令如下:pip install py原创 2020-11-08 00:49:13 · 27327 阅读 · 8 评论 -
Python采集全国各地百度地图上店铺POI数据(母婴、美食等)
1.先注册百度地图开发平台账号,创建应用,获得AK;2.注册好账号后登录,进入到百度地图开放平台控制台,如下图所示,创建应用,获取API接口连接权限AK,然后就可以开始写代码了。代码思路:1. 设置好URL格式,按照行政区进行检索,通过requests模块访问URL获取数据;2. 对检索到JSON数据进行解析,提取需要的字段数据;3. 保存数据为CSV格式;4. 准备好全国行政区清单,设置好循环检索程序,批量检索所有城市数据;5. 运行程序获取数据,并对数据进行去重等操作。原创 2021-11-18 23:05:32 · 4145 阅读 · 2 评论 -
Python使用selenium设置无浏览器(界面)运行
设置无界面(浏览器)运行代码# 设置options参数,以开发者模式运行option = ChromeOptions()option.add_experimental_option("excludeSwitches", ["enable-automation"])# 加上下面两行,解决报错,设置无界面运行option.add_argument('--no-sandbox')option.add_argument('--disable-dev-shm-usage')option.add_arg原创 2020-12-27 13:08:47 · 3493 阅读 · 0 评论 -
Python使用selenium爬取淘宝商品信息
使用 selenium 模拟浏览器抓取淘宝商品信息1.创建driver对象2.请求淘宝商品信息3.实现翻页4.通过driver对象,解析商品页面内容,获取需要的数据5.保存数据到MongoDB数据库原创 2020-08-26 22:36:37 · 774 阅读 · 1 评论