实战项目
pythoner_116
初级pythoner 欢迎交流!
展开
-
flask微信公众号后端自动回复及部署(2)
对于微信的自动回复 有几个需要注意的点需要提前说明1.本篇实现的自动回复功能,为分离自动回复的问题回答的配置信息。原创 2020-03-14 12:11:14 · 481 阅读 · 0 评论 -
flask微信公众号后端自动回复及部署(1)
此前实现了一个微信公众号的自动回复,此篇博客用来记录整个实现流程。微信公众号后端部署需要一个公网开放的域名这里我们使用ngrok, 一款内网穿透工具(可将内网80端口映射为公网域名)。下载地址https://ngrok.com/download启动ngrok 输入ngrok.exe http 80此时说明域名映射已成功,这段域名就是我们的公网域名接下来创建一个flask项目app....原创 2020-03-14 10:25:14 · 515 阅读 · 0 评论 -
flask+pyecharts 前端显示地理图表
首先创建flask项目pycharm可以选择直接创建在模板文件夹下 templates 创建index.html<!DOCTYPE html><html><head> <meta charset="UTF-8"> <title>Awesome-pyecharts</title> <s...原创 2020-03-14 09:39:06 · 1234 阅读 · 0 评论 -
python爬虫多线程请求示例(生产者消费者模型)
多线程是提升爬虫采集速度一个非常好的方式之一。首先我们要引用两个python内置模块,threading和queueimport threadingfrom queue import Queuethreading用于操作线程queue用于创建队列对于简单的项目来说,不需要类似于scrapy的多层回调,也就是在列表页的请求过程中,异步获取详情页的数据。我们可以简单的将,列表页,详情页...原创 2020-02-19 15:48:18 · 534 阅读 · 0 评论 -
大众点评海底捞分店数据及评论数据
在之前的项目中,为了破解点评网的文字反爬,采集了一些海底捞的数据。在这里分享出来链接:https://pan.baidu.com/s/1JImiRUWGGtMUc6GE4WGAwg提取码:jfiu1.海底捞全国分店数据(包含分店评分,星级,所在地,街道,推荐菜,评论数)。2.海底捞四川省分店评论数据(包含评论内容,打分,及星级)。可以根据星级判断好评,中评,差评。...原创 2020-02-19 14:26:33 · 2409 阅读 · 0 评论 -
大众点评店铺详情页评论采集(破解css文字映射反爬,包含项目github 可用时间至2020-01-21)
在店铺详情页下拉 点击更多点评 才会进入真正的详情页。在这个页面,使用的是css的文字映射反爬。分析一下页面 可以看到部分评论的数据是缺失的,跟每个节点的class属性可能有关系1.打开...原创 2020-02-03 13:06:27 · 1103 阅读 · 0 评论 -
大众点评列表页采集思路,破解字体文件反爬(包含项目github 可用时间至2020-01-21)
前言:最近想试试抓取大众点评数据,找了些开源代码发现基本上都用不了。自己写了一个能跑起来的项目,分享给大家,首先抓取“海底捞”店铺的列表页数据。注意,大众点评的采集需要全程登录,我是直接使用自己账号的cookie登录。1.找到列表页请求接口进入点评网首页 搜索==“海底捞“==...原创 2020-01-21 13:13:19 · 1294 阅读 · 0 评论 -
基于长短时神经网络(LSTM)+word2vec的情感分析
前言:毕业前的项目,最近终于有时间整理个博客出来。使用的keras+gensim完成,也参考了互联网很多相关资料。最终效果只有88%左右,不过优化空间很大,只用作学习demo数据集使用的是谭松波酒店评论数据集 停用词我自己整理了一个停用词词典 分享给大家链接:https://pan.baidu.com/s/1ZkMGAUH7VSxJALWBs41iKQ提取码:2c1e1.数据处理这一...原创 2020-01-19 16:51:18 · 11721 阅读 · 23 评论 -
基于国家统计局城乡规划数据的地名提取(2)
在上一篇中我们采集了国家统计局2018年的全国地名数据。接下来,我们将会用这个数据进行匹配,提取相关的地级市与省份。之前我们采集的全国地名数据分为了两种数据结构分别保存,在这里我们使用第一种结构的数据。接下来我们要写一个进行提取的函数。输入是公司名称的字符串,公司所属省份,与省份对应相应的地名数据。接下来就进入重点了,开始对前两个词的地名数据进行匹配。首先对第一个词进行匹配。若第一...原创 2019-12-30 17:29:54 · 472 阅读 · 0 评论 -
基于国家统计局城乡规划数据的地名提取(1)
实战项目-基于国家统计局的地名提取(1)国家统计局城乡规划网爬虫超简单的小项目,涉及到简单的爬虫以及基础的python编程知识。很简单哦最近手里有一份公司的名单,其中大部分包含了地名信息。要求根据公司名称,获取到公司所属的地级市。类似于如下。可以看到每个公司名称都会包含一个地名信息,但其中有一部分是xx县,xx乡,xx区,对于这一部分信息就需要找到这个地名他所属的上级地级市。我最终用了一...原创 2019-12-27 15:45:28 · 1372 阅读 · 0 评论