自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 树莓派 挂载的问题

先 sudo fdisk -l 看看有没有识别 然后df -h 看看有没有挂载, 如果没有, sudo mount /dev /home/pi/xijieyingpan 怎么自动挂载, 我不懂。先记录吧 参考: https://www.jianshu.com/p/188828...

2019-07-19 21:41:02 188 0

原创 树莓派3b配置CUPS

很多文章经过试验都是不行的, 这篇文帐是可以的 主要是配置文件这块。 #Only listen for connections from the local machine. Listen localhost:631 Listen IP:631 Listen /var/run/cups/cu...

2019-03-12 14:10:26 974 0

转载 在Ubuntu 16.10 安装 git 并上传代码至 git.oschina.net

https://www.cnblogs.com/wghao/p/6082657.html 这篇文章讲的很全面。

2018-11-26 17:12:14 68 0

原创 树莓派3 配置 python 访问mssql,并且搭建django

  https://www.aliyun.com/jiaocheng/460396.html  这个是搭建python的访问mssql的文章,使用的是python-pymssql,这里使用的是python2.7的版本的, https://www.cnblogs.com/freeweb/p/52...

2018-11-21 14:08:59 428 1

原创 linux thinkphp 目录 [ ./Runtime/ ] 不可写!

到 application 目录下 chmod 777 -R Runtime

2018-07-20 22:08:17 3416 0

原创 总结树莓派3b lnmp安装步骤

安装 树莓派stretch版本,开启ssh上电,开机ssh连接,更换成中科大的源,apt-get update upgrade安装screen,xdrp,开启root用户,并切换到root用户,执行oneinstack.com上的自动安装包,等待2个小时,安装完成。...

2018-07-15 23:53:52 556 0

转载 Raspbian 镜像使用帮助

清华大学开源软件镜像站

2018-07-15 18:52:48 381 0

转载 树莓派启用root账户

树莓派使用的linux是debian系统,所以树莓派启用root和debian是相同的。debian里root账户默认没有密码,但账户锁定。当需要root权限时,直接执行sudo su即可切换为root用户。树莓派默认用户是pi,密码为raspberry。重新开启root账号,可由pi用户登录后,...

2018-07-15 18:51:24 4029 0

原创 步骤

1:烧 img文件2:win下根目录建立 ssh空文件3:ssh上去,更新源为 http://mirrors.tuna.tsinghua.edu.cn/raspbian/raspbian/4:apt-get update,apt-get upgrade5:根据lnmp.org进行配置screen6...

2018-07-14 22:43:31 49 0

原创 lnmp.org上的安装方法

1:安装方法2:安装lnmp前请先运行screen

2018-07-14 20:56:01 178 0

原创 树莓派窗口系统启动后,自动运行自定义的程序的实现方法

窗口系统启动后,自动运行自定义的程序的实现方法进入当前用户HOME目录下的.config目录(这是一个隐藏目录,需用ls -a显示出来)cd ~/.config 当前用户是pi, 其HOME目录是/home/pi, 上述命令相当于 cd /home/pi/.config建立一个名为autostar...

2018-07-14 16:35:43 2326 0

转载 树莓派3下PDO访问MSSQL

手头的树莓派3已经装了LAMP,也做成功了用python借助FreeTDS访问MSSQL的实验,然后想测试下用PHP脚本直接访问MSSQL。查阅了一些资料,发现可以用php5-sybase实现。你没看错,就是sybase。在MS SQL SERVER的发展历史中,微软最初就是和Sybase合作的,...

2018-07-11 17:27:59 128 0

转载 Python渗透测试工具合集

https://www.shiyanlou.com/questions/3972

2018-06-29 15:11:23 305 0

转载 kali

Kali Linux Web 渗透测试秘籍https://blog.csdn.net/wizardforcel/article/details/52814054

2018-06-27 13:08:51 408 0

原创 win7 64位安装mysql odbc

因为安装的mysql是32位的,所以要安装32位的mysql odbc 32位的mysql odbc下载安装好要打开32位的odbc进行配置,就是按照下面的命令打开   c:\windows\syswow64\odbcad32.exej进行配置,然后再打开,sqldbx就ok了windows 7 ...

2018-05-27 22:46:32 908 0

原创 git学习

 一、要安装的软件Notepad++GitBaiduyun 二、Git初始化和配置1.   新系统使用Git开始接触是因为去年Gov屏蔽该网站,在国内引起强烈的议论,但是由于刚刚接触java,时间也就没怎么花在上面,近来看到一些专业招聘网站上看到招聘要求上“博客,github贡献者”优先,也注意到...

2018-04-26 17:30:50 155 0

原创 thinkphp3.2连接sql2000

PHP的SQLServer驱动由微软提供。只有 SQLSRV20才支持SQLServer2000, SQLSRV30及以上版本需要更新的SQLServer。SQLSRV20支持PHP5.3、PHP5.2。第一步 下载1、安装phpstudy,切换到appch+php5.3版本2、去 http://...

2018-04-24 12:54:39 198 0

原创 tr显示hint

先定义一个DIV,把你要提示的内容,放到这个DIV中 向上增加一行 修改此行 向下增加一行代码:$("table tr").mouseover(function(){ $("#divInfo").css...

2017-09-20 10:17:04 198 0

转载 python爬虫解决验证码的思路

如果直接从生成验证码的页面把验证码下载到本地后识别,再构造表单数据发送的话,会有一个验证码同步的问题,即请求了两次验证码,而识别出来的验证码并不是实际需要发送的验证码。有如下几种方法解决。 法1: 用session: mysession = requests.Session() lo...

2017-09-19 20:21:38 773 0

转载 Python模拟登录(一) requests.Session应用

最近由于某些原因,需要用到Python模拟登录网站,但是以前对这块并不了解,而且目标网站的登录方法较为复杂, 所以一下卡在这里了,于是我决定从简单的模拟开始,逐渐深入地研究下这块。 注:本文仅为交流学习所用。 登录特点:明文传输,有特殊标志数据     会话对象requests....

2017-09-19 20:08:19 28551 1

原创 git 强制覆盖本地

git fetch --all git reset --hard origin/master git fetch 只是下载远程的库的内容,不做任何的合并 git reset 把HEAD指向刚刚下载的最新的版本

2017-09-19 19:27:49 359 0

转载 http调用打码兔 的文档

http://wiki.dama2.com/index.php?n=ApiDoc.Http

2017-09-14 15:51:59 449 0

转载 python利用cookie登录网站进行访问

在写爬虫的时候遇到需要登录才能访问的网站往往很令人头疼,伪装成浏览器访问神马的也许又会遇到网站采取的加密措施,不胜麻烦!然而,如果换一种思路,先用浏览器登录你想访问的网站,再在浏览器的控制台里找到该网站的cookie,然后利用这个cookie进行带cookie的访问,无疑是短时间内解决此问题的好办...

2017-09-14 15:49:42 2358 0

转载 python 用已登录的cookie发送请求

如题,比如现在已经手动用ie登录了csdn,然后可以在ie的缓存里面找到对应的cookie,能否用这个cookie请求我的博客等需要登录的页面呢?网络上找了很多中方法,但是没有一种尝试成功的。 Python code ? 1 2 3 4 5 6 7 ...

2017-09-14 15:48:27 731 0

转载 静态网页抓取,动态网页抓取,模拟登陆的注意事项和心得

最近更新:2013-07-03 背景 之前,对于折腾,静态或动态的网页抓取,模拟登陆,也算有些时日了。 在此期间,遇到很多问题,也都基本上靠自己慢慢的解决了。 此处,把其中相对常见和通用的问题或者是注意事项, 再加上一些心得,在此整理出来,供参考: 网页抓取和模拟登陆的注意事项和心得 ...

2017-09-14 15:47:23 422 0

转载 网络爬虫-使用Cookie登陆

我们经常有这样的上网经历,就是如果你采用用户名密码登陆一个网站之后,如果在一段不长的时间内,再次访问这个本来需要你登陆的网站,你会很轻易地访问,而不需要再次输入用户名密码。这种“免登陆”的体验无疑给用户带来了非常好的体验,那为什么会“免登陆”呢?是什么在起作用呢? 答案就是Cookie。当我们在...

2017-09-14 13:16:23 205 0

转载 网络爬虫-验证码登陆

验证码是一种非常有效的反爬虫机制,它能阻止大部分的暴力抓取,在电商类、投票类以及社交类等网站上应用广泛。如果破解验证码,成为了数据抓取工作者必须要面对的问题。 在访问某些网站时,我们最初只是需要提供用户名密码就可以登陆的,比如说豆瓣网,如果我们要是频繁登陆访问,可能这时网站就会出现一个验证码图片...

2017-09-14 13:15:37 1563 0

转载 分享一下赶集网的反扒策略

2017-09-14 11:30:46 1264 0

转载 垂直爬虫

垂直爬虫的代码实现比较简单,主要是两方面: 1. 限定url,一般是通过正则匹配 2.限定内容,比如列表页面只要抓取详细页面的url,详细页面只要抓取特定内容,一般都是用css 选择器或者xpath的库取匹配内容 垂直爬虫的技术难点没有全网爬出那么多,主要要解决的是反爬的问题. 针对性的做...

2017-09-14 11:24:20 1123 0

转载 如何应对网站反爬虫策略?如何高效地爬大量数据?

如何应对网站反爬虫策略?如何高效地爬大量数据? 像一些大型的网站会有反爬虫策略…比如我之前在爬淘宝评论后很快就会被封,大概是短时间爬太多…有什么好的策略吗?比如代理?不过感觉代理也不能稳定吧… 请点击: https://www.zhihu.com/question/281...

2017-09-07 15:11:12 1399 0

转载 Anti-Anti-Spider 反反爬

https://github.com/luyishisi/Anti-Anti-Spider 越来越多的网站具有反爬虫特性,有的用图片隐藏关键数据,有的使用反人类的验证码,建立反反爬虫的代码仓库,通过与不同特性的网站做斗争(无恶意)提高技术。(欢迎提交难以采集的网站)(因工作原因去TX写验...

2017-09-07 15:06:28 422 0

转载 requests 和 scrapy 在不同的爬虫应用中,各自有什么优势?

equests 是一个http框架,可以用来做爬虫 scrapy 是一个专业的爬虫框架 我是个python新手,研究怎么爬人家网站,朋友推荐我学requests,果然看了下文档,几分钟就能开始爬了 但是我看scrapy 这个爬虫框架,被很多人喜欢,我想这个东西一定有他的独特之处, ...

2017-09-07 15:05:21 6530 0

转载 scrapy: 使用HTTP代理绕过网站反爬虫机制

下面的链接是我在python3.4 和Scarpy1.2上的实现的代理中间件 http://blog.csdn.net/letunihao/article/details/52350437 Table of Contents 1. 简介2. 设计3. 实现 抓免费代理的...

2017-09-07 15:00:27 546 0

转载 爬虫的基本框架

最近看过不少讲爬虫的教程[1][2],基本都是一个模式: 开始先来拿正则、lxml、jquery/pyquery等等教大家从页面上抠出一个一个的值来然后深入一些在讲讲http 协议,讲讲怎么拿出 cookie 来模拟登录之类的,讲讲基本的反爬虫和反反爬虫的方法最后在上一个 简单地 scrap...

2017-09-07 13:43:23 310 0

转载 Scrapy爬取美女图片第四集 突破反爬虫(上)

本周又和大家见面了,首先说一下我最近正在做和将要做的一些事情。(我的新书《Python爬虫开发与项目实战》发布了,大家在这里可以看到样章) 技术方面的事情:本次端午假期没有休息,正在使用flask开发自己的个人博客框架,之后我的技术教程将会陆续更新flask方面的内容,尽可能的形成一套完整的fl...

2017-09-07 12:52:58 222 0

转载 第7章 Scrapy突破反爬虫的限制

第7章 Scrapy突破反爬虫的限制 阅读目录 7-1 爬虫和反爬的对抗过程以及策略7-2 scrapy架构源码分析7-3 Requests和Response介绍7-4~5 通过downloadmiddleware随机更换user-agent7-6~...

2017-09-07 12:48:26 921 0

原创 py开发环境

2017-09-07 10:49:18 145 0

转载 Python打开文件,将list、numpy数组内容写入txt文件中

python保存numpy数据: [python] view plain copy numpy.savetxt("result.txt", numpy_data);   保存list数据: [pyt...

2017-09-07 09:34:51 6846 0

转载 我看Python代码缩进

这两天python-cn邮件列表有一条thread发展的特别长,题目是《python的代码缩进真是坑爹》(地址),楼主在一台电脑上用KOMODO写的代码到另一台电脑上就不能运行了,调试后才发现是代码缩进的问题,为此楼主表示“真是火大”!而之后的回复,可想而知,批判楼主、教育楼主、鄙视楼主等的人绝不...

2017-09-05 17:42:03 224 0

原创 python selenium firefox

1:pip install  selenium 2:如果想在selenium中使用 firefox(selenium默认就是firefox),对于新版的firefox,需要下载geckodriver,http://download.csdn.net/detail/ztzy520/9725887, ...

2017-07-21 21:22:56 284 0

提示
确定要删除当前文章?
取消 删除