- 博客(7)
- 收藏
- 关注
RSS订阅原创 百度图片下载器
—————————————————————————————————————————————————————————————————————今天搜索了一下图片发现百度上有许多自己喜欢的图片，于是就想把这些图片下载下来，但是如果一张一张的下载的话又太慢了，想了一下，自己写个爬虫吧！|————————————————————————————————————————————————————————
2017-10-26 22:23:03
541
原创 python爬虫之异步XHR爬取
首先感谢Darkeril博主的这篇文章，让我知道异步爬取的原理。下面我们开整！！二话不说先上代码，客官请看：#coding:utf-8from bs4 import BeautifulSoupimport requestsimport jsonimport pymongourl = 'http://www.guokr.com/scientific/'de
2017-10-24 23:07:47
33810
2
原创 hadoop日志
1.日志的配置完善进入Hadoop的安装目录的logs的目录这个目录中记录的是yarn集群的进程的日志信息。在目录/opt/hadoop-2.6.0/logs下记录的是dfs各个进程的日志信息，日志信息的格式是框架名称+用户名+进程名+日志后缀其中以.log结尾的是log4j记录的日志，主要记录了各个进程启动成功和失败的信息，查个这个日志我们就可以分析哪个进程成功启动了，哪个失败了
2017-10-15 21:51:09
561
原创 Django的搭建
自己使用django搭建了一个博客，在这里总结搭建的过程，和其中获得的一些经验废话不多说，我们就来看看我是一步一步怎么走过来的吧1.我们需要下载Django，在cmd控制台中切换到python的安装目录下的scripts目录下执行命令：python -m pip install django,安装好了之后我们就可以看看安装的django的版本了，查看命令就是：python -m djang
2017-10-13 15:09:27
449
原创 对称|非对称密钥&完整性
文件A从主机A发送到主机B，在主机A和B发送文件之前，主机A和主机B协商，协商的内容暂时未知（待和小伙伴们一起探索）1。协商过后A主机的A文件被A主机通过无参的hash函数，生成了消息摘要（hash码）AMD5（这个过程不是加密）2.hash码AMD5通过非对称加密算法加密，使用的参数是公钥B,将hash码加密成hash码密文-AMD5密文3.A文件通过密钥C采用对称加密算法加密，生成了A
2017-10-10 22:43:30
1182
原创 python之cookie的使用
cookielib库是提供可存储的cookie对象，cookielib库中有四个属性，CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。他们的关系是CookieJar —-派生—->FileCookieJar —-派生—–>MozillaCookieJar和LWPCookieJar给MozillaCookieJar传入一个文件
2017-10-08 19:24:31
1100
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人