- 博客(15)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 flask微信公众号后端自动回复及部署（2）
对于微信的自动回复 有几个需要注意的点需要提前说明1.本篇实现的自动回复功能，为分离自动回复的问题回答的配置信息。
2020-03-14 12:11:14
495
原创 flask微信公众号后端自动回复及部署（1）
此前实现了一个微信公众号的自动回复，此篇博客用来记录整个实现流程。微信公众号后端部署需要一个公网开放的域名这里我们使用ngrok, 一款内网穿透工具（可将内网80端口映射为公网域名）。下载地址https://ngrok.com/download启动ngrok 输入ngrok.exe http 80此时说明域名映射已成功，这段域名就是我们的公网域名接下来创建一个flask项目app....
2020-03-14 10:25:14
525
原创 flask+pyecharts 前端显示地理图表
首先创建flask项目pycharm可以选择直接创建在模板文件夹下 templates 创建index.html<!DOCTYPE html><html><head> <meta charset="UTF-8"> <title>Awesome-pyecharts</title> <s...
2020-03-14 09:39:06
1258
原创 selenium安装及学习记录
1.seleium安装记录selenium使用pip安装即可pip install seleium接下来 启动seleium注意 使用seleium驱动chrome的时候 需要单独下早chrome驱动并且加载https://npm.taobao.org/mirrors/chromedriver/下载驱动 注意驱动版本要对应chrome版本版本对应关系：https://blog.csd...
2020-02-19 17:51:24
138
原创 python爬虫多线程请求示例（生产者消费者模型）
多线程是提升爬虫采集速度一个非常好的方式之一。首先我们要引用两个python内置模块，threading和queueimport threadingfrom queue import Queuethreading用于操作线程queue用于创建队列对于简单的项目来说，不需要类似于scrapy的多层回调，也就是在列表页的请求过程中，异步获取详情页的数据。我们可以简单的将，列表页，详情页...
2020-02-19 15:48:18
538
原创 大众点评海底捞分店数据及评论数据
在之前的项目中，为了破解点评网的文字反爬，采集了一些海底捞的数据。在这里分享出来链接：https://pan.baidu.com/s/1JImiRUWGGtMUc6GE4WGAwg提取码：jfiu1.海底捞全国分店数据（包含分店评分，星级，所在地，街道，推荐菜，评论数）。2.海底捞四川省分店评论数据（包含评论内容，打分，及星级）。可以根据星级判断好评，中评，差评。...
2020-02-19 14:26:33
2495
原创 大众点评店铺详情页评论采集（破解css文字映射反爬，包含项目github 可用时间至2020-01-21）
在店铺详情页下拉 点击更多点评 才会进入真正的详情页。在这个页面，使用的是css的文字映射反爬。分析一下页面 可以看到部分评论的数据是缺失的，跟每个节点的class属性可能有关系1.打开...
2020-02-03 13:06:27
1115
原创 大众点评列表页采集思路，破解字体文件反爬（包含项目github 可用时间至2020-01-21）
前言：最近想试试抓取大众点评数据，找了些开源代码发现基本上都用不了。自己写了一个能跑起来的项目，分享给大家，首先抓取“海底捞”店铺的列表页数据。注意，大众点评的采集需要全程登录，我是直接使用自己账号的cookie登录。1.找到列表页请求接口进入点评网首页 搜索==“海底捞“==...
2020-01-21 13:13:19
1315
原创 mysql sql语句中拼接字符串写法
问题：sql语句中 如何拼接字符串解决方法最开始使用”+“进行拼接 一直报错。原来sql中有专门函数例：update table set filed=concat(filed, ‘123’)意思是更新字段filed为 filed的值+‘123’...
2020-01-19 17:01:16
933
原创 基于长短时神经网络(LSTM)+word2vec的情感分析
前言：毕业前的项目，最近终于有时间整理个博客出来。使用的keras+gensim完成，也参考了互联网很多相关资料。最终效果只有88%左右，不过优化空间很大，只用作学习demo数据集使用的是谭松波酒店评论数据集 停用词我自己整理了一个停用词词典 分享给大家链接：https://pan.baidu.com/s/1ZkMGAUH7VSxJALWBs41iKQ提取码：2c1e1.数据处理这一...
2020-01-19 16:51:18
11933
23
原创 Mysql创建用户给局域网内用户使用，开放权限，开放ip访问。
需求：开放数据库给局域网内用户使用，需要创建用户以及开放部分权限。解决：1.登录mysql数据库 未设置全局变量需要进入相关路径cd mysql8.0/bin登录mysqlmysql -u 你的账户名 -p你的密码2.创建用户，以及开放ipCREATE USER ‘用户名’@‘localhost’ IDENTIFIED BY ‘用户密码’;这里注意，若用户为本机用户，则开放ip是...
2020-01-19 10:37:45
2121
原创 mysql插入问题，若主键存在则更新部分字段，若不存在则插入。
需求 插入数据，若主键存在则更新部分字段，若不存在则插入sql:INSERT INTO table (field1, field2) VALUES (field1_value, field2_value) ON DUPLICATE KEY UPDATE field2=field2_value其中字段field1为主键这段sql的意思是 :若field1主键存在 则 更新field2字段。...
2020-01-18 12:10:49
993
原创 mysql8.0登录navicate等第三方工具报错2059解决方案(更换密码验证方式)
问题：mysql更新了8.0版本之后，使用navicate登录会报错。错误码 251-Client does not support authentication protocol requested by server；原来是是因为新版本更换了密码的验证方式解决方案：1.命令行登录mysql mysql -u 你的账户名 -p你的密码未设置全局变量的同学，需要进入mysql8....
2020-01-18 11:47:47
507
原创 基于国家统计局城乡规划数据的地名提取（2）
在上一篇中我们采集了国家统计局2018年的全国地名数据。接下来，我们将会用这个数据进行匹配，提取相关的地级市与省份。之前我们采集的全国地名数据分为了两种数据结构分别保存，在这里我们使用第一种结构的数据。接下来我们要写一个进行提取的函数。输入是公司名称的字符串，公司所属省份，与省份对应相应的地名数据。接下来就进入重点了，开始对前两个词的地名数据进行匹配。首先对第一个词进行匹配。若第一...
2019-12-30 17:29:54
484
原创 基于国家统计局城乡规划数据的地名提取（1）
实战项目-基于国家统计局的地名提取（1）国家统计局城乡规划网爬虫超简单的小项目，涉及到简单的爬虫以及基础的python编程知识。很简单哦最近手里有一份公司的名单，其中大部分包含了地名信息。要求根据公司名称，获取到公司所属的地级市。类似于如下。可以看到每个公司名称都会包含一个地名信息，但其中有一部分是xx县，xx乡，xx区，对于这一部分信息就需要找到这个地名他所属的上级地级市。我最终用了一...
2019-12-27 15:45:28
1414
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人