- 博客(9)
- 资源 (15)
- 收藏
- 关注
原创 Python爬链家网租房信息
爬去链家网的租房信息然后存储到数据库中。#-*- coding:utf-8 -*-import requestsimport reimport randomimport MySQLdbfrom bs4 import BeautifulSoupclass house(): def get_house(self): user_agent=['Mozil
2016-12-31 22:18:57 2752 1
原创 python爬取企业名录
爬取企业名录然后存储到数据库中。#-*- coding:utf-8 -*-import requestsimport MySQLdbimport refrom bs4 import BeautifulSoupheaders = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (K
2016-12-31 02:06:12 8454 3
原创 windows网络连接不上,网关为0.0.0.0的解决办法
昨天要安装服务器,就用自己电脑连接。搞完了以后重新配置自己的ip信息,能连上网,但是网络超级慢,排查了半天最后用ipconfig查看才发现异常,网关多出了一个0.0.0.0的IP,这个肯定是访问不了的。所以导致时而能访问,时而访问不了。而且这个时候鼠标移至网络那里显示两个网络,一个能访问,一个不能访问。看看IPV4那里显示都正常,但是打开网页响应时间超长。解决办法:把0.0.0.0的网关删
2016-12-30 11:24:11 19372 1
原创 python爬取cnvd漏洞库信息
今天一同事需要整理http://ics.cnvd.org.cn/工控漏洞库里面的信息,一看960多个要整理到什么时候才结束。所以我决定写个爬虫帮他抓取数据。看了一下各类信息还是很规则的,感觉应该很好写。but这个网站设置了各种反爬虫手段。经过各种百度,还是解决问题了。设计思路:1.先抓取每一个漏洞信息对应的网页url2.获取每个页面的漏洞信息# -*- coding
2016-12-29 09:11:03 9439 5
原创 python维护代理池脚本
设计思路:1.找个免费代理的网站,爬取网站代理ip等信息;2.验证代理ip是否有用3.把有用的代理ip信息存到数据库中import requestsimport MySQLdbfrom bs4 import BeautifulSoupheaders = { 'Host':"map.baidu.com", "Accept": "text/html,applica
2016-12-27 20:36:45 1590
原创 selenium监控回家火车票
我们这些在外的打工仔每年到春节前买票都是一个让人头大的问题。我好像每年都没有抢到票,都是最后捡漏回家的。今年还是没抢到票,用了官网的自动监控的功能感觉好慢呀,而且不太符合我的需求。于是我自己写了个简单的脚本,监控回家的票包括跨站的票。程序为监控T25/T381的卧铺:# -*- coding: utf-8 -*-from selenium import webdriverfro
2016-12-27 14:53:49 1813
原创 python爬虫下载网站磁力链接
设计分三步走:1.获取明星列表地址2.获取明星作品序列号3.根据作品序列号查找磁力链接一、获取网站中明星列表的作品集地址#coding=utf8import requestsimport reimport xlrdimport xlwtimport timefrom bs4 import BeautifulSoup#新建excel表格用于存储数据my
2016-12-25 12:52:27 28679 4
原创 解决服务器windows主机显示本地连接网络电缆没插好问题
最近测试使用的一台服务器虚拟机,显示网络电缆没插好。百度了好久各种尝试仍没有解决。最后发现是网卡适配器-设备状态-已连接没有勾选导致的。所以记录下来!
2016-12-20 12:19:05 3325
原创 git基本命令整理
近期项目需要使用到git进行多人开发。所以对git进行学习。以下是整理的笔记内容git 配置用户名和邮箱 git config --global user.name "yourname"git config --global user.email "youremail"查看配置信息git config --list获取帮助git help
2016-12-06 14:13:42 847
phpcms v9.6.0版本
2017-09-09
struts-2.3.24-apps.zip包测试Struts2 S2-048高危漏洞
2017-09-08
WAVSEP1.5版本war包
2017-09-04
IIS上asp和php环境配置文件
2016-11-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人