- 博客(22)
- 收藏
- 关注
RSS订阅转载 如何揪出网站上的网络爬虫：指纹识别
网络上的爬虫日益猖獗，疯狂地采集网站上的内容，不仅没有带来一丝好处，反而导致内容的流失、增大服务器的压力。在众多的访问者中识别出网络爬虫并限制其访问一直是各个网站运营者所关心和头疼的事情。州的先生一直以来持有的观点就是，网络爬虫的反爬与反反爬，会像网络安全的黑客攻防一样，在你强化一步，我突破一步的节奏中不断升级和完善。没有哪一个反爬手段是一劳永逸的，也没有哪一个反反爬技术可以一招鲜吃遍天。如果有，可能就是网站招安了爬虫，爬虫收购了网站。在现行的网络爬虫检测技术中，主要有以下两大类：行为检
2021-06-16 09:44:12
845
原创 windows下安装tornado
下载安装包 url:https://github.com/tornadoweb/tornado 解压安装包，解压以后将其复制到python的安装目录 打开cmd，切换到python的安装目录下tornado目录（刚刚复制过去的目录） 执行命令 python setup.py install 敲击回车进行安装卸载：将原来复制到python安装目录的tornado删除，然后再进入...
2019-10-17 10:52:15
337
转载 MySQL添加用户、删除用户、授权及撤销权限
一.创建用户：mysql> insert into mysql.user(Host,User,Password) values("localhost","test",password("1234"));#这样就创建了一个名为：test 密码为：1234 的用户。注意：此处的"localhost"，是指该用户只能在本地登录，不能在另外一台机器上远程登录。如果想远程登录的话，将"loc...
2019-08-28 18:18:05
259
转载 使用git提交到github,每次都要输入用户名和密码的解决方法
使用git提交文件到github,每次都要输入用户名和密码，操作起来很麻烦，以下方法可解决，记录以下。原因：在clone 项目的时候，使用了 https方式，而不是ssh方式。默认clone 方式是：https切换到：shh 方式切换后如下：解决方法：到本地项目文件夹子，打开git bash1.查看clone 地址：gitremot...
2019-07-12 10:38:33
215
转载 数据库三大范式详解（通俗易懂）
范式：英文名称是 Normal Form，它是英国人 E.F.Codd（关系数据库的老祖宗）在上个世纪70年代提出关系数据库模型后总结出来的，范式是关系数据库理论的基础，也是我们在设计数据库结构过程中所要遵循的规则和指导方法。目前有迹可寻的共有8种范式，依次是：1NF，2NF，3NF，BCNF，4NF，5NF，DKNF，6NF。通常所用到的只是前三个范式，即：第一范式（1NF），第二范式（2NF）...
2019-07-10 09:50:41
604
转载 Python urlopen error [Errno 10061] 解决办法
【Python】Urllib2报错：URLError: <urlopen error [Errno 10061] >解决办法运行python程序的时候，报出 URLError:<urlopen error [Error 10061]> 这样的错误，可能是测试机或者IE浏览器设置了代理导致的，只要去掉代理就好了。Step1：打开IE浏览器，点击 工具 —> In...
2019-07-01 10:17:29
3568
转载 Crontab内环境变量与Shell环境变量的关系及解决问题的办法
问题 有时需要用到Crontab的定时任务去执行脚本，但是发现通过命令（./test.sh)执行Shell文件的时候，可以获取Linux的环境变量;可是通过Crontab做的定时任务，无法获取。 问题剖析 crontab有一个坏毛病，就是它总是不会缺省的从用户profile文件中读取环境变量参数，经常导致在手工执行某个 脚本时是成功的，但是到crontab中试图让它定期执行时...
2019-06-25 14:28:47
413
原创 Linux常用命令
grep [选项] [搜索内容] 文件路径] 文本搜索工具 -n 显示匹配行以及行号；-v 显示不包含搜索文本的所有行；-i 忽略大小写搜索。两种模式查找：^a 搜索以‘a’开头的行；a$ 搜索以‘a’结尾的行。 >,>>。echo 'hello word' > a.txt 重定向输出到终端的信息到文件 > 覆盖；>&...
2019-06-13 21:33:25
99
原创 PHP集成paypal支付
注册paypal账户https://developer.paypal.com/ 到paypal的开发者官网注册开发者账号。 注册成功登录以后，点击右上角的dashboard进入仪表盘，（成功以后记得验证邮件地址，否则无法创建App） 在左侧菜单栏sandbox下的account可以看到你的测试账号，包括买家账号和卖家账户，点击actions里面的profile可以有修改密码的选项，你也可...
2019-05-16 18:28:16
1102
翻译 Mailer Error: SMTP Error: data not accepted.
phpmailer发送邮件提示：Mailer Error: SMTP Error: data not accepted.可能原因：您的服务器不允许使用不同的发件人和用户名某些服务器要求发件人电子邮件地址与用于身份验证的电子邮件地址相同。检查您的姓名，并将其与您用于登录SMTP服务器的用户名相匹配。邮件的文件大小很大如果正文太大，某些服务器会拒绝邮件。HTML电子邮件通常比普通文...
2019-05-11 11:40:46
8424
原创 facebook messenger之PHP开发
这是一个简单的使用PHP连接facebook messenger的教程 首先得有一个facebook开发者账户，没有则去https://developers.facebook.com申请一个。。。 添加一个facebook开发应用 3.添加messenger到你的应用进入刚刚创建的应用，点击产品+ 找到messenger，点击设置...
2019-02-20 14:32:33
1644
转载 git使用教程
作者：涂根华链接：www.cnblogs.com/tugenhua0707导读：因为教程详细，所以行文有些长，新手边看边操作效果出乎你的预料。GitHub虽然有些许改版，但并无大碍。一、Git是什么？Git是目前世界上最先进的分布式版本控制系统。工作原理 / 流程： Workspace：工作区 Index / Stage：暂存区 Reposit...
2019-01-24 17:24:55
222
原创 php之Twitter第三方登录
1.注册微博的开发者账户https://developer.twitter.com / en / apply / user填写必要信息，然后等待审核2.添加应用创建应用是填上必要的回调地址，网站地址，以及网站的说明信息等必填信息，注意：要勾选：使用twitter登录（重要）3.创建好应用后进入我的应用，点击键和令牌可以看到应用的密钥4.找到官方示例：5.详细...
2018-12-17 16:13:57
2582
3
原创 linux定时任务执行thinkPHP的某个接口
1.查看正在执行的crontab,用命令crontab -l ,这样就可以看到哪些任务一直在执行了。2.crontab -e 自动打开文件 编辑定时任务程序 在打开的页面中点击“i”键，进入插入模式，就可以编辑了。3.输入 ： 执行方法 ：定时格式+curl 空格 url：* 3 * * * curl http://myweb.com/get_info下载：定时格式+wget 空格...
2018-12-10 10:01:55
1290
转载 第三方支付
https://pay.weixin.qq.com/wiki/doc/api/app/app.php?chapter=9_1 【微信支付】APP支付开发者文档https://doc.open.alipay.com/doc2/detail?treeId=59&articleId=103666&docType=1 服务器异步通知参数说明https://doc.open....
2018-11-27 16:29:04
902
转载 PHP获取各种时间的时间戳
PHP 获取今日、昨日、本周、上周、本月的等等常用的起始时间戳和结束时间戳的时间处理类：全部方法：01、返回今日开始和结束的时间戳。02、返回昨日开始和结束的时间戳。03、返回本周开始和结束的时间戳。04、返回上周开始和结束的时间戳。05、返回本月开始和结束的时间戳。06、返回上个月开始和结束的时间戳。07、返回今年开始和结束的时间戳。08、返回去年开始和结束的...
2018-10-24 09:17:09
192
转载 PHP 三表RBAC
PHP RBAC权限控制实现思路1.什么是RBAC基于角色的访问控制（Role-Based Access Control)2.原理管理员--组--权限3.数据表设计管理员表角色表填充数据格式为 : 权限表填充数据格式为 : 4.管理员根据自己角色显示对应权限5.管理员管理, 角色管理, 权限管理 管理员管理包括分配角...
2018-09-25 18:15:57
765
原创 PHPfacebook登录出现报错：Can't Load URL: The domain of this URL isn't included in the app's domains
Graph returned an error: Can't Load URL: The domain of this URL isn't included in the app's domains. To be able to load this URL, add all domains and subdomains of your app to the App Domains fiel...
2018-09-14 14:52:56
1150
原创 PDOStatement对象小陷阱
用pdo查询数据库返回的statement对象，经过一个循环后（不是一次，是一整个循环）。再进行第2个次循环，循环对象为同一个statement对象，这时第二个循环里将获取不的数据。以前没怎么注意过，也没这样用过，这次遇到了，记录一下！...
2018-08-02 17:39:41
231
原创 php调用sphinx提示failed to send client protocol version
今天早上打开网站使用搜索功能还是好好的，过了一会儿，由于要修改服务器密码，所以重启了一下服务器。重新打开网站搜索就出问题了，搜索不到东西，使用sphinx的getLastError函数调试，发现报错为：failed to send client protocol version，网上搜索没有找到适合我的解决办法。于是猜测是索引问题，打开服务器重建索引/usr/local/sphinx/bin/in...
2018-07-02 11:36:51
373
原创 ubuntu下安装sphinx
准备源码包：sphinx-2.1.1；Sphinx的PHP模块：sphinx-1.1.0；结合中文分词的sphinx：coreseek-3.2.14安装sphinx 上传sphinx源码包到服务器，解压并安装:tar -zxvf sphinx-2.1.1 cd sphinx-2.1.1 ./configure --prefix=/usr/local/sphinx --with-m...
2018-06-07 16:24:06
1583
原创 sphinx在shell可以正常使用，PHP使用出错
本人刚接触sphinx，不太懂，遇到问题记录一下。在服务器shell里面调用sphinx查询可以正常返回数据在PHP连接搜索数据时却返回false，PHP代码：这是查询手册，发现获取错误信息的函数为：SphinxClient :: getLastError 打印错误信息：failed to send client protocol version然后在网上查找答案，有说是端口和配置文件不一致，有说...
2018-06-06 10:28:08
420
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人