![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自己封装的函数
yangbenhao
这个作者很懒,什么都没留下…
展开
-
用cookie来通过一个简单的登录验证的爬虫方法
from urllib import request,parse from urllib.error import HTTPError,URLError from http import cookiejar #定义一个类用来实现cookie的存储 class Cookieset(object): def __init__(self): #这里类似于创建一个容易用来存放你...原创 2018-08-14 21:28:25 · 1823 阅读 · 0 评论 -
一个简单的进行数据库操作的类,调用内部sqlzz函数并加入sql语句即可
import pymysql #简单封装一个可以执行sql语句的类 class Mysql_text(object): #定义一个初始化函数用来打开数据库连接和创建游标对象 def __init__(self): self.db = pymysql.connect('localhost','root','123456','py11') self.c...原创 2018-08-15 23:12:52 · 594 阅读 · 0 评论 -
封装了一个函数用来实现全自动爬取雪球网的数据
import requests import json from pymysql_text import Mysql_text # url = 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json?since_id=-1&max_id=-1&count=10&category=111' # url ...原创 2018-08-15 23:20:15 · 1505 阅读 · 2 评论 -
一个简单的恋家的信息爬取
import requests from lxml import etree from day03.pymysql_text import Mysql_text #封装一个函数 def lainjia(url): response = requests.get(url) # with open('lianjia.html','wb')as f: # f.writ...原创 2018-08-17 16:27:57 · 386 阅读 · 0 评论