2018年08月_lq497028254

转载时间、日期、时间戳的相互转换。 2.示例

1.简介在编写代码时，往往涉及时间、日期、时间戳的相互转换。2.示例# 引入模块import time, datetime2.1 str类型的日期转换为时间戳 1 # 字符类型的时间 2 tss1 = '2013-10-10 23:40:00' 3 # 转为时间数组 4 timeArray = time.strptime(tss1, "%Y-%m-%d %H:%...

2018-08-25 15:19:30 884

转载 cookiejar来完成一个登录学校model平台

这次我们使用cookiejar来完成一个登录学校model平台，并查看登陆后的其他页面的任务from urllib import requestfrom urllib import parsefrom http import cookiejarif __name__ == '__main__': # 创建cookie管理 cookie_jar = cookiejar....

2018-08-24 18:37:30 337

转载 Ubuntu安装MySQL密码初始化问题

Ubuntu安装MySQL密码初始化问题2016年07月02日 10:29:37阅读数：10150在Ubuntu上使用sudo apt-get install mysql-server mysql-common 命令安装MySQL以后，安装过程中没有提示输入密码。然后使用mysql -u root -p 进行登录，然后要求输入密码，可是不管怎么输入，都提示密码错误，那怎么解决呢？方...

2018-08-22 00:45:48 595

转载 Ubuntu 16.04下安装MySQL

Ubuntu 16.04下安装MySQL[日期：2017-06-15] 来源：Linux社区作者：Linux [字体：大中小] 简单分享Ubuntu 16.04下安装MySQL的过程。首先执行下面三条命令：sudo apt-get install mysql-serversudo apt isntall mysql-clientsudo apt inst...

2018-08-21 18:29:13 98

转载 Scrapy中使用cookie免于验证登录和模拟登录

Scrapy中使用cookie免于验证登录和模拟登录引言python爬虫我认为最困难的问题一个是ip代理，另外一个就是模拟登录了，更操蛋的就是模拟登录了之后还有验证码，真的是不让人省心，不过既然有了反爬虫，那么就有反反爬虫的策略，这里就先介绍一个cookie模拟登陆，后续还有seleminum+phantomjs模拟浏览器登录的文章。还不知道cookie是什么朋友们，可以点击这里co...

2018-08-12 11:10:07 270

转载利用scrapy爬取需要登录的网站的数据（包含验证码的处理）

利用scrapy爬取需要登录的网站的数据（包含验证码的处理）–以爬取豆瓣网数据为例1、在cmd命令行中输入 scrapy startproject douban，创建scrapy爬虫项目 2、在cmd命令行中调整到douban项目文件夹下输入 scrapy genspider -t basic db douban.com（最后一个是网站域名）创建名为db的爬虫（如果是创建自动爬虫要输入-t ...

2018-08-12 11:01:24 8244 2

转载爬虫登录需要隐藏字段

若爬取的网页需要登录，并且form data中包含隐藏的csrfmiddlewaretoken信息，如下图：则可以在登录前的get请求当中的html源码中按住“ctrl+F”，搜索“csrfmiddlewaretoken”即可复制其value值： ...

2018-08-11 23:41:25 701

转载 scrapy模拟登陆

使用Cookie模拟已登录状态import scrapyclass LoginByCookie(scrapy.Spider): """ 模拟登录方式一:直接使用cookie登录登录慕课网 """ name = 'login_by_cookie' allowed_domains=['www.imooc.com'] sta...

2018-08-11 23:15:57 360

原创 RE

正则表达式在爬虫和处理字符串的过程中常常会被用到，例如解决下面两个问题（1）去除爬取到的结果里面的特殊字符/[^]（2）我只想让文本中留下中文字符。python的re包提供了强大的正则表达式应用，能让我们方便的解决类似上面的问题。具体的步骤也比较简单（1）首先我们要根据正则表达式的规则写出我们想要去寻找或者匹配的模式，例如：[^\u4E00-\u9FD5]+，是说匹配除了中文以外的...

2018-08-09 12:02:25 293

转载 Python使用MySQL数据库的方法以及一个实例

Python使用MySQL数据库的方法以及一个实例使用环境：Windows+python3.4+MySQL5.5+Navicat一、创建连接1.准备工作，想要使用Python操作MySQL，首先需要安装MySQL-Python的包，在Python 3.x下，该包已经改名为MySQLClient。可以使用pip方式安装：pip install MySQLClient 或者下...

2018-08-01 15:19:40 123

lq497028254的博客