- 博客(11)
- 收藏
- 关注
RSS订阅
原创 flask实现异步任务
flask实现异步任务最近在开发同步mysql数据到redis的接口，因为数据同步涉及各种增删查改，如果用同步实现，可能回造成连接超时、堵塞，所以，使用python实现异步任务。代码实现from flask import Flaskimport timefrom concurrent.futures import ThreadPoolExecutorexecutor = Thread...
2018-09-29 16:34:44
33736
4
原创 极验验证--滑块验证
极验登录–滑块验证本文通过通过模拟登录极验网站，完成滑块验证所用语言和相关模块python3.6seleniumrequests`PIL极验验证码特点分析 极验验证是一种在计算机领域用于区分自然人和机器人的，通过简单集成的方式，为开发者提供安全、便捷的云端验证服务，与以往传统验证码不同的是，极验通过分析用户完成拼图过程中的行为特征，通过数据分析来判断是...
2018-09-13 16:35:26
46832
10
原创 网易云音乐评论抓取（js逆向）
网易云音乐评论抓取（js逆向）本文通过分析网易云音乐的js加密，通过构造相关的参数，获取网易云音乐评论。所用语言和相关模块python3.6requests`网站特点分析通过分析网站可知：评论获取的url：https://music.163.com/weapi/comment/resource/comments/get?csrf_token=评论获取的方法：post评论获取的参数：params、encSecKey且参数为加密参数实现过程由上面的分析过程可以得知，实现过程分为
2021-06-11 17:58:26
2504
5
原创 B站教学资源爬虫
B站教学资源爬虫最近遇到了点麻烦事，各种学习网站的不维护或者转移路线，于是将目标站点定位到了b站的学习资源所用语言和相关模块python3.6requests`PIL目前网站特点分析b站是一个具有大量资源数据的网站，但是如何将目标网站中资源按照目前我们公司的学习资源库进行抓取并进行数据清洗，这将是一件非常磨人的事情。前期的准备工作我们库中的分类主要有学校、专业、老师等字段，于是，需要准备一下内容：1、学校分类库，用于进行学校的搜索及资源名称的清洗2、专业分类库3、老师分类库
2020-08-10 18:03:39
1530
原创 咸阳工商招标信息抓取
咸阳工商招标信息抓取咸阳工商招标信息抓取分析网站代码实现结语咸阳工商招标信息抓取 最近有个搞爬虫的朋友让我帮他看下咸阳工商招标信息是怎么抓取的，一些参数他无法获取。经过分析之后，发现搞爬虫，思路是真的重要。分析网站网站url: http://www.xyjsgc.com/website/main/Channel.aspx?fcol=122002通过打开url，获取请求信息：可以看到，每次的请求都带上了多个参数，而且看起来毫无规律（我朋友就卡在这里），每次到了这个时候，就更不能着急，这些
2020-06-30 14:19:19
298
原创 抓取大众点评评论
最近抓取了大众点评的评论，其中遇到了相当有趣的用图片代替字体的反扒方法，给大家分享一下。需求抓取目的商铺的评论及相关信息分析网站大众点评的评论信息需要登录后才能看到，登录获取其cookie，用以爬虫模拟登录分析其评论详情图片，发现里面的某字体不是正常的文字，而是通过图片代替字体，通过检查文字的css，发现相关的字体在http://s3plus.meituan.net/v1/mss_0a...
2019-03-22 15:20:47
7373
7
原创 supervisord的安装及使用
centos下supervisord的安装及使用supervisor的安装生成配置文件修改配置文件supervisor的常用命令1、 启动supervisor2、进入相关的命令操作centos6.6设置supervisor开机自启supervisor的安装 yum install epel-release yum install -y supervisor生成配置文件echo_su...
2018-12-19 11:58:41
3144
原创 vim解除ctrl+s假死机状态
vim解除ctrl+s假死机状态用vim的时候，如果不小心按了ctrl+s，机器会进入假死机状态，这时，可以使用ctrl+q，解除这种假死状态。
2018-11-06 17:08:18
36283
1
原创 centos物理桥接配置
centos物理桥接配置相信大家在搭建centos虚拟机的时候，都有遇到过网络连接的问题，现在在这为大家介绍下物理桥接的相关配置。相关vmvare设置打开相关的虚拟网络编辑器点击网络设置，配置vmnet0里面的桥接模式，选择本机所用的网卡。相关虚拟机设置在虚拟机设置上选择桥接模式相关系统设置1、查看本机ip本机使用window：ipconfig2、根据本机ip设置虚拟机...
2018-11-05 11:49:26
641
原创 抓取前程无忧招聘信息
抓取前程无忧招聘信息本文通过分析前程无忧的相关规则，通过python来抓取相关的招聘信息，并通过redis缓存相关信息，实现增量抓取。相关技术python3.6requestsredismysql分析url构造页面规则分析打开前程无忧招聘网站，由于本人从事的爬虫工作，故此以爬虫作为搜索的工作，分析其url构造规则：由上面url可得，上图中的2,4中的4作为页码，变化不...
2018-09-19 09:55:35
90652
原创 使用python实现微信自动回复
微信自动回复本文通过python实现微信自动回复功能，完成智障版人工智能。所需语言和模块python3.6 itchat实现代码import itchatimport refrom itchat.content import *chat_dict = { 1: '在的', 2: '这么有空啊？', 3: '在干嘛？', 4: '有什...
2018-09-14 17:51:20
4767
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人