- 博客(33)
- 收藏
- 关注
RSS订阅原创 kettle（ETL工具）mysql 5.7 数据库的驱动包
百度云盘 ： https://pan.baidu.com/s/1EOjJAt7LQ3t4MJSFkwHNWA 密码：72ia
2019-02-01 09:32:35
4905
1
原创 mysql数据库设置时间，时间戳，设置两个字段：一个为创建信息时的时间，另一个为修改时的修改时间 均为自动更新
a = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S') 当前时间 a_1 = str(round(time.time() * 1000)) 时间戳 `create_time` datetime DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间', `update_time` dat...
2019-02-01 09:21:53
1041
原创 python调用mysql数据库中表，字段，统计表中信息数
mysqlhelper文件中表：import pymysqlclass MysqlHelper(object): def __init__(self): self.db=pymysql.connect(host='127.0.0.1',user='root',port=3306,password='123456',database='py10',charset=...
2019-02-01 08:58:29
1716
原创 python命令行参数argparse
import argparse parser = argparse.ArgumentParser(prog='mysqlceshi.py') parser.add_argument('-t', type=str, default='shujuceshi', help='Table Name,default shujuceshi;') parser.add_argumen...
2019-02-01 08:39:39
395
原创 scrapy_redis的设置
spiders的xxxx.py中在导入此包from scrapy_redis.spiders import RedisSpider修改如下代码设置redis的键#删除start_urls#start_urls = ['http://python.jobbole.com/all-posts/']redis_key = 'lhy:rediskey'在settings文件中加入S...
2018-08-29 19:20:30
268
原创 scrapy的运行流程
Scrapy Engine引擎负责控制数据流在系统中所有组件中流动，并在相应动作发生时触发事件。 详细内容查看下面的数据流(Data Flow)部分。调度器(Scheduler)调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。下载器(Downloader)下载器负责获取页面数据并提供给引擎，而后提供给spider。Spiders...
2018-08-28 20:57:30
1797
原创 scrapy--mysqlhelper的包的写法
import pymysqlclass MysqlHelper(object): def __init__(self): self.db = pymysql.connect(host='127.0.0.1',port=3306,user = 'root',password='123456',database='py1011',charset='utf8') ...
2018-08-28 20:31:19
161
原创 scrapy-pipelines的写法
# -*- coding: utf-8 -*-# Define your item pipelines here## Don't forget to add your pipeline to the ITEM_PIPELINES setting# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.htmlfrom m...
2018-08-28 20:29:38
344
原创 scrapy—items的代码写法
# -*- coding: utf-8 -*-# Define here the models for your scraped items## See documentation in:# https://doc.scrapy.org/en/latest/topics/items.htmlimport scrapyclass MyprojectItem(scrapy.Ite...
2018-08-28 20:28:11
770
原创 创建crawl—scrapy
创建项目文件夹scrapy startproject myproject进入 myprojectscrapy genspider -t crawl crawl_baidu baidu.com创建成功后在mproject文件夹中创建 run_baidu.py 运行文件在spider文件夹中找到 crawl_baidu.py 进行编写代码例：以拉勾网为例# -*- co...
2018-08-28 20:26:07
809
原创 创建项目（scrapy）
import scrapy在Terminal中创建如下scrapy startproject scrapy_project #创建项目文件名创建spidercd scrapy_projectscrapy genspider bole jobbole.com #创建要访问的网站以网站命名创建一个run.py main.py文件加入 在此文件中点击运行from sc...
2018-08-23 23:40:06
188
原创 雪球问答运用BeautiSoup（find_all）（select）（find）
from bs4 import BeautifulSoupimport requestsurl = 'https://xueqiu.com/ask/square'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/...
2018-08-22 22:11:07
253
原创 笔记
爬虫中使用的各种包import os 下载文件到本地if not os.path.exists('download') : os.mkdir('download')import re 正则定位元素import json 格式转换import requests 相当于 from urllib import request import time 延迟时间 time...
2018-08-21 22:43:08
127
原创 运用进程在网页中获取有用的代理
import requestsfrom lxml import etreeimport timeimport multiprocessing# 耗时 84.26855897903442 5# 耗时 44.181687355041504 10# 耗时 29.013262033462524 20# 耗时 22.825448036193848 50def get_all_proxy...
2018-08-21 21:27:10
160
原创 进程代码
import multiprocessingimport timedef process_run(params): print(params) time.sleep(2)if __name__=="__main__": params = '222222' p = multiprocessing.Process(target=process_run,args=...
2018-08-20 22:13:40
513
原创 线程代码
import threadingimport timedef th_run(params): print(params) time.sleep(2)params = '11234556'#args是以元组的形式传参如下：#线程代码t= threading.Thread(target=th_run,args=(params,))t.start()print('44...
2018-08-20 22:13:12
242
原创 爬取zhihu李大爷的问答（ajax的）存入mysql
import requestsimport mysqlhelperimport refrom urllib import requestimport jsonmyhelper = mysqlhelper.MysqlHelper()sql = 'INSERT INTO zhihu (title, excerpt) VALUES' \ ' (%s, %s)'for i in...
2018-08-20 22:07:35
160
原创 5i5j获取房租信息
import requestsfrom lxml import etreeimport mysqlhelperbase_url = 'https://bj.5i5j.com/zufang/huilongguan/n%i/'headers ={ 'Cookie':'PHPSESSID=9tjfg532s3u4o5ahq0juh0khch; yfx_c_g_u_id_1000000...
2018-08-19 23:59:56
2296
原创 喜马拉雅说爬取音乐文件
import requestsfrom lxml import etreebase_url = 'https://www.ximalaya.com/lishi/4164479/32176284'tarck_id = base_url.split('/')[-1]url = 'https://www.ximalaya.com/revision/play/tracks?trackIds='+...
2018-08-19 22:05:50
701
原创 爬取链家租房信息
import requestsfrom lxml import etreeimport mysqlhelperbase_url = 'https://bj.lianjia.com/zufang/changping/pg%s/'myhelper = mysqlhelper.MysqlHelper()sql = 'INSERT INTO lianjiaxinxi (title, regi...
2018-08-17 21:45:34
558
原创 爬取图片并按标题建立文件夹存图
import requests,reimport jsonfrom urllib import requestimport osurl = 'https://www.toutiao.com/search_content/?offset={}&format=json&keyword=%E8%A1%97%E6%8B%8D&autoload=true&coun...
2018-08-16 23:27:17
821
原创 爬取今日头条图片，可以输入页数
import requests,reimport jsonfrom urllib import requestimport osurl = 'https://www.toutiao.com/search_content/?offset={}&format=json&keyword=%E8%A1%97%E6%8B%8D&autoload=true&coun...
2018-08-16 22:43:51
339
原创 获取头条图片并加载到本地（简易版）
import reimport requestsimport jsonimport osfrom urllib import requesturl = 'http://www.toutiao.com/a6589854444442092040/'headers ={ 'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) Appl...
2018-08-16 19:11:07
323
原创 雪球数据存入设定好的数据库表中
import requestsimport jsonfrom mysql_test import mysql_conn # 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json?since_id=-1&max_id=184086&count=15&category=111'heade...
2018-08-16 10:31:00
345
原创 爬取雪球房产数据随意页数
import requestsimport json # 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json?since_id=-1&max_id=184086&count=15&category=111'headers={ 'Cookie':'aliyungf_tc=AQA...
2018-08-15 22:09:30
311
原创 爬取雪球房产的前三页数据（固定url）
import requestsimport jsonurls ={ 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json?since_id=-1&max_id=-1&count=10&category=111', 'https://xueqiu.com/v4/statuses/public...
2018-08-15 21:15:41
281
原创 人人网不用账号登录
from day02.tuozhan_all import post, get#导包为我博客上传的通用版（爬虫）import jsonfrom urllib import request, parse# 保存cookiefrom http import cookiejar# 通过对象保存cookiecookie_object = cookiejar.CookieJar()# ha...
2018-08-14 20:59:19
5628
原创 有道翻译代码操控
import timeimport randomimport jsonfrom day01.tuozhan_all import post#导入的一个拓展包可以用我博客中上传的通用版#此处进行的md5加密转码def md5_my(need_str): import hashlib#哈希列表md5加密函数 # 创建md5对象 md5_o = hashli...
2018-08-14 20:41:11
190
原创 爬虫（爬网页）代码通用版本0.1
#导包from urllib import request,parsefrom urllib.error import HTTPError,URLError# 保存cookiefrom http import cookiejarclass session(object): def __init__(self): cookie_object = cookieja...
2018-08-13 21:14:38
1380
原创 day01作业
Cookie实际上是一小段的文本信息。客户端请求服务器，如果服务器需要记录该用户状态，就使用response向客户端浏览器颁发一个Cookie。客户端会把Cookie保存起来。 当浏览器再请求该网站时，浏览器把请求的网址连同该Cookie一同提交给服务器。服务器检查该Cookie，以此来辨认用户状态。服务器还可以根据需要修改Cookie的内容。 1、cookie的内容主要包括：名字，...
2018-08-13 20:56:55
117
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人