- 博客(10)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 sqlAlchemy 读取 sql sever 出现中文乱码
最近使用 sqlAlchemy 时, 读取库中数据发现读取后的数据中文变成了乱码先上结论:record = TOP20CrawlInfo()record.sku_code = sku_info.sku_coderecord.sku_name = sku_info.sku_name.encode("latin-1").decode("GBK", "ignore")开始使用了 修改create_engine里的charset属性改为GBK后, 虽然可以获取到不乱码的中文了, 但是会在保存新数据时出现
2021-08-05 15:42:58
1389
2
原创 使用Postman抓取Chrome请求快速生成Request请求代码
最近在练习爬虫的时候, 爬取网站时常常需要模拟浏览器去访问, 但是使用request发送请求时, 需要填写headers也就是头部信息, 但我又是一个懒得复制的人, 尝试了很多软件, 最后找到了一款特别适合我自己的, 方便快捷, 话不多说, 放链接下载地址:https://wws.lanzous.com/b01nl5lxa密码:dbjg当然想用最新版或者不想用我的的话, 可以去Google商店自行下载Postman插件下载Postman Interceptor插件下载安装:如果是去谷歌商店自
2020-08-27 20:31:44
2215
原创 爬取大众点评评论-字体加密解析-下-代码解析篇
代码解析获取页面数据使用xpath来获取用户评论信息获取页面数据首先写一个简单的爬虫, 来获取页面数据记得添加最关键的user-agent和Cookie, 否则你连最基本的网页都获取不到使用xpath来获取用户评论信息 def get_data_by_xpath(self): """使用xpath获取用户信息""" html_xpath = etree.HTML(self.html) # 获取评论以及用户 user_data
2020-08-27 16:18:29
941
4
原创 爬取大众点评评论-字体加密解析-上-方法解析篇
字体加密解析解密字体加密原理找到要爬取的网页分析反爬策略找到``标签中继承的类在哪里找到css文件所映射字体文件得到方案细节:最近练习爬虫的时候, 被朋友推荐一个网站, 说是反爬很有意思, 也就尝试了一下。经过分析, 发现它的反爬策略还是蛮不错的, 不光进行了字体反爬, 在使用相同ip进行大量访问时也封禁你的ip。ip被封的问题可以通过代理ip的方式解决, 找一些免费ip或者花点小钱就可以了, 这次我要讲的重点是它使用css进行的字体加密解密字体加密原理找到要爬取的网页随便打开一家店铺,打开后
2020-08-26 16:35:54
797
1
原创 Python复习[进阶篇(其一)-三器一闭]
Python 三器一闭迭代器生成器闭包装饰器用闭包实现装饰器用类实现装饰器在python中, 三器一闭中的三器是指生成器、迭代器、装饰器, 而一闭则是指闭包, 装饰器依赖于闭包, 生成器和迭代器也有千丝万缕的关系, 我们就从这篇文章来详细讲解一下,迭代器 什么是迭代器?在我们使用python的过程中, 能够使用while循环或者for循环进行遍历的对像就是迭代器, 可以使用isinstance()来进行判断是否是Iterable对
2020-08-06 16:05:01
318
原创 Python复习[基础篇-上-面向过程]
python基础复习(面向过程)一. 注释单行注释 #, 多行注释 """ """二. 变量使用数字.字母.下划线_组成的字符变量, 定义变量时要注意不能数字开头, 不能和关键字相同三. 关键字在python中已经定义好的变量名四. 终端输入输出print("输出内容")input("输入内容")五. 运算符类型Value加法+减法-乘法*除法/取余%取整//……六. 数据类型类型Value例
2020-08-04 12:02:59
239
原创 [SQL语句复习] - 02 使用select like (concat, replace 关键字)
使用select like (concat, replace 关键字)world表结构如下:namecapitalcontinentAfghanistanKabulAsiaAlbaniaTiranaEuropeAlgeriaAlgiersAfricaAndorraAndorra la VellaEuropeAngolaLuanda...
2020-04-28 22:37:59
733
原创 [SQL语句复习] - 01 select 基础 (=, >, in , between and)
SQL语句复习1. select 基础 (=, >, in , between and)world表结构为:namecontinentareapopulationgdpAfghanistanAsia6522302550010020343000000AlbaniaEurope28748283174112960000000Algeria...
2020-04-28 22:35:12
332
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人