biebazijidanghuishi的博客

show variables 查看数据库配置找到bulk_insert_buffer_size参数加大mysql配置中的bulk_insert_buffer_size，这个参数默认为8MSET bulk_insert_buffer_size = 100 * 1024 * 1024; #100M#1024 * 1024=1m修改该条记录有助于千万级别数据批量插入。self.cursor.executemany(sql_p, ry)#数据库批量插入：sql_p为sql语句，ry为数据数组里放多

一、滑动验证码from selenium import webdriverbrowser = webdriver.Chrome()# 驱动Chrome浏览器打开滑动验证码示例页面browser.get('http://www.porters.vip/captcha/sliders.html')# 定位滑块hover = browser.find_element_by_css_selector('.hover')action = webdriver.ActionChains(browser

import base64import jsonimport requestsheaders = { 'Accept': 'application/json, text/javascript, */*; q=0.01', 'Accept-Encoding': 'gzip, deflate', 'Accept-Language': 'zh-CN,zh;q=0.9', 'Connection': 'keep-alive', 'Cookie': 'ASP.NET_

import hashlibimport randomimport timetim = int(time.time())action = ''.join(random.sample('0123456789', 5))randstr = ''.join(random.sample([chr(_) for _ in range(65, 91)], 5))info = action+str(tim)+randstrmy_md5 = hashlib.md5(info.encode()).hexdige

CURRENT_TIMESTAMP

Linux/Centos7账号与权限管理（超详细实例操作）

修改Centos7用户默认家目录vim /etc/default/useradd# useradd defaults fileGROUP=100HOME=/home #改这里INACTIVE=-1EXPIRE=SHELL=/bin/bashSKEL=/etc/skelCREATE_MAIL_SPOOL=yescentos添加普通用户流程添加普通用户[root@localhost ~]# adduser dadi密码[root@localhost ~]# passwd dadi

centos下做mysql data 目录迁移时，按照网上教程操作完毕，遇到重启一直失败，解决办法：一直怀疑是linux mysql安装不正确，其实早就安装成功了。/etc/selinux/config里修改SELINUX=disabled后，再reboot就可了 记得一定要reboot！！！！！！！...

//获取前一天SELECT * FROM 表名 WHERE DATE(时间字段) =DATE_SUB(CURDATE(),INTERVAL 1 DAY) //获取前两天、、、、依次类推SELECT * FROM 表名 WHERE DATE(时间字段) =DATE_SUB(CURDATE(),INTERVAL 2 DAY) //获取当天SELECT * FROM 表名 WHERE DATE(时间字段) =DATE_SUB(CURDATE(),INTERVAL 0 DAY)范围select

# 如果你只想为当前用户设置，你也可以去掉下面的"--global"选项pip config --global set global.index-url https://mirrors.aliyun.com/pypi/simple/以下是国内比较主流的pypi镜像源：阿里云 https://mirrors.aliyun.com/pypi/simple/中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/豆瓣 https://pypi.douban.c

1，网络原因解决办法：用镜像源安装pip install -i https://pypi.douban.com/simple [包的名字]升级pippython -m pip install --upgrade pip2.镜像源安装依旧失败卸载现有python ,选择低版本Python 降低python板块！！！！！！！！！...

import urllib.parse#解码escape_str = '%u5DF4%u5F66%u6DD6%u5C14%u5E02%u5965%u9686%u5DE5%u7A0B%u5EFA%u8BBE%u6709%u9650%u516C%u53F8'str1 = escape_str.replace('%u', '\\u')# 得到结果 str1 = '\u4eba\u751f\u82e6\u77ed'str = str1.encode('utf-8').decode('unicode_es

class ChongqingSpider(scrapy.Spider): name = 'chongqing' start_url = 'http://www.cqjsxx.com/webcqjg/GcxxFolder/jgysba_list.aspx' # custom_settings = { # 'DOWNLOADER_MIDDLEWARES': { # 'zb_yitihua.middlewares.ProxyMiddleware'

import xlrd #导入xlrd模块class ExcelData(): def __init__(self,data_path,sheetname): self.data_path = data_path # excle表格路径，需传入绝对路径 self.sheetname = sh.

保存为csv格式 def __init__(self): # 打开文件，指定方式为写，利用第3个参数把csv写数据时产生的空行消除 self.f = open("建设工程.csv", "a", newline="") # 设置文件第一行的字段名，注意要跟spider传过来的字典key名称相同 self.fieldnames = ["city", "postdate", "title", "projectAllName", "bidNo"

def process_item(self, item, spider): data = dict(item) content_url = data['sourceUrl'] #特殊网站（post） md5 = hashlib.md5(content_url.encode()).hexdigest() ErrorCause = '' status = '' con = pymysql.co...

有些时候，我们可能需要存入不同的数据库中，而settings中只能设置一个数据库的资料，那么这时候我们就需要使用custom_settings参数来为每一个spider配置对应的pipeline。不过scrapy版本必须是1.1以上Class Test1(scrapy.Spider): name = "test1" custom_settings = { 'ITEM_PIPELIN...

import ioimport requestsfrom urllib.parse import urljoinfrom parsel import Selectortry: from PIL import Imageexcept ImportError: import Imageimport pytesseracturl = 'http://www.porters....

pip install -i https://pypi.douban.com/simple [包的名字]

1.停止服务打开管理员终端输入：net stop mysql802.新建记事本输入：alter user ‘root’@‘localhost’ identified by ‘新密码’3.终端输入：第一个地址“MySQL80安装地址”，第二个地址新建记事本地址4.关闭服务：ctrl+c5打开服务：重新打开终端输入：net start mysql80...

运行程序报错：UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 0-1: ordinal not in range(128)两种方法：第一设置系统的默认编码为utf-81，在我们的电脑上打开pycharm，点击file->settings2，进去settings界面之后，点击Editor-&...

con = pymysql.connect(host="139.129.102.142", port=3306, user="tanhanyue", password="thy123456", db="yuanyue")cursor = self.con.cursor()sql = 'INSERT INTO chongqing_zaobiao(title,pub_date,province,...

获取当前日期import datetimetoday = datetime.date.today()scrapy xpath 用法VIEWSTATE = response.xpath('''//input[@id="__VIEWSTATE"]/@value''').extract()[0]

这个列表包含与网页抓取和数据处理的Python库网络通用urllib -网络库(stdlib)。requests -网络库。grab – 网络库（基于pycurl）。pycurl – 网络库（绑定libcurl）。urllib3 – Python HTTP库，安全连接池、支持文件post、可用性高。httplib2 – 网络库。RoboBrowser – 一个简单的、极具Pyth...

获取当前时间import datetime day = datetime.datetime.now()day2 = datetime.date.today()print("当前年月日时分秒:", day)print("只查看年月日:", day2)执行结果： 当前年月日时分秒: 2018-09-19 21:18:57.132640 只查看年月日: 2018-09-19只查看...

在目标目录按住shift 点击鼠标右键打开控制面板创建项目：scrapy startproject 项目名称创建 spider,首先进入项目名称文件夹下spider，输入scrapy genspider 名称 目标域名2.编写scrapy 爬虫项目编写items.py这里是我们想要采集的数据字段spiders下的 名称 .py 文件这里是我们写爬虫的主要实现逻辑编写pipel...

加上这个类即可import sys#打印输出到log.txtclass Logger(object): def __init__(self, filename="log.txt"): self.terminal = sys.stdout self.log = open(filename, "a",encoding="utf-8") def ...

字典L = {"剧情": "11", "喜剧": "24", "动画": "25"}for key,value in L.items(): print(key,value)#输出 ''' 剧情 11 喜剧 24 动画 25'''L = {"剧情": "11", "喜剧": "24", "动画": "25"}for key,value in L.it...

引用peewee和链接数据库rom peewee import *db = MySQLDatabase("spider", host="127.0.0.1", port=3306, user="root", password="123456")class BaseModel(Model): class Meta: database = db建立表#设计数据表...

不完整代码def page_next(url): age = header(url) ponse = etree.HTML(age) page = ponse.xpath('//div[@class="ewb-page"]//li[contains(@class,"ewb-page-hover")][2]/a/@href')#下一页的标签链接（只有一半，需要和域名拼接）...