- 博客(31)
- 资源 (6)
- 收藏
- 关注
转载 最好的语言 PHP + 最好的前端测试框架 Selenium = 最好的爬虫
入职冰鉴科技做爬虫开发已经半年多了,陆续开发维护了几个爬虫以后终于在 web 端爬虫这一块有了登堂入室的感觉。中间踩了许多坑,也对爬虫的许多细节有了自己的认识,所以今天希望能分享一些爬虫经验。虽然爬虫的很多东西不好说太细,因为说太细了别人马上有针对性的反爬虫了,而且很多技巧业界没用通用的解决方案(别人就算做出来了也不太愿意分享),都是我自己慢慢摸索出来的。但是我认为适当的业界 /友商之间的技术交流
2018-01-31 17:27:36 3383
原创 *php解析html类库(第3方类库)simple_html_dom(爬虫相关)
下载地址:https://github.com/samacs/simple_html_dom解析器不仅仅只是帮助我们验证html文档;更能解析不符合W3C标准的html文档。它使用了类似jQuery的元素选择器,通过元素的id,class,tag等等来查找定位;同时还提供添加、删除、修改文档树的功能。当然,这样一款强大的html Dom解析器也不是尽善尽美;在使用的过程中需要十分小心内存消耗的情...
2018-01-31 11:50:58 627 1
原创 *什么是跨域?怎么解决跨域问题?
什么是跨域?跨域,指的是浏览器不能执行其他网站的脚本。它是由浏览器的同源策略造成的,是浏览器施加的安全限制。所谓同源是指,域名,协议,端口均相同,不明白没关系,举个栗子:http://a.yagnxigua.com/index.html 调用 http://a.yagnxigua.com/server.php (非跨域)http://www.123.com/index....
2018-01-31 00:30:37 772
转载 chrome开发者工具:Network面板篇的capture screenshots
本文主要介绍一些本人在此之前不甚了解,但经过了解后又发现对自己的工作很有帮助的一些chrome开发者工具调试技巧/功能。也借这篇文章提醒一下自己,在实际项目中多使用这些功能,尽快熟悉起来,提升自己的工作效率。Capture screenshots(捕捉网页截图)Capture screenshots是自动分析DOM树的变化,截下DOM树变化各个重要阶段时的页面,尚不清楚是如何判
2018-01-28 16:14:06 347269 1
原创 【内置】总结持续更新--linux常用指令
注意:绿色字为注释;橙色字为注意;蓝色字为和类似的区分目录说明5、/home普通用户的"家目录"给系统每增加一个“普通用户”的同时,都会在该目录为该其创建一个文件目录代表该用户的“家目录”,用户后期使用系统的时候会首先“进入”其家目录家目录名字默认与当前用户名字一致,用户对家目录拥有绝对最高的权限。6、/root该目录是root管理...
2018-01-27 10:29:58 2946
原创 *php中的对象怎么看和foreach遍历类对象的总结
从TP5模型中得到的灵感,如果不用toArray(),打印出来一大堆,看的眼晕,现在明白了。原来打印出来的都是模型类的属性。至于怎么看,大家可以看图。以后看见对象就找到快速查看的技巧了。1、主要由“属性名称”“属于哪个类”“权限”“数据类型”“值”5部分组成注意:访问数字属性时,用{}。如 $obj->{1} ; 访问对象 $obj 属性为 1 的注意:不管什么权限...
2018-01-26 18:25:45 1455
转载 *微信开发内置浏览器JS自动关闭当前页面回到微信对话窗口
微信的WeixinJSBridge还是没牛逼的,虽然官方文档只公布了3个功能,但是还内置的很多功能没公布,但是存在比如自动关闭当前浏览器内置函数:WeixinJSBridge.call('closeWindow');直接调用即可。转自:http://blog.csdn.net/muziduoxi/article/details/22403859...
2018-01-26 00:05:22 12222 1
原创 *【功能点】前端vue传过来的是base64格式(解码变成二进制)的图片怎么做多图上传
此是tp5框架,控制器中的代码总体思路:1、先接收数据,遍历到是字符串为止2、处理字符串,给多余的字符串去掉,因为这些会阻止你base64_decode解码3、创建路径、图片名称。将base64的图片写入文件4、取出上传图片的地址。模型入库用下图107行和上图56行,圈出来的是一个参数,改了下名字而已...
2018-01-24 21:20:29 9327
原创 *微信开发之反向代理。反向后修改本地的文件自动更新到服务器
软件下载的链接:http://download.csdn.net/download/qq_33862644/10220524配置流程:线上配置:然后输入几条命令:ssh -L 0.0.0.0:80:127.0.0.1:80 root@127.0.0.1ss -ntl 查看所有使用中的端口ps aux 查看所有进程编辑服务器上面的/etc/ssh/...
2018-01-23 14:06:47 561
原创 *【php扩展】php_openssl.dll的作用
在linux上如何执行1、首先得安装php的openssl扩展php -m | grep openssl执行以上命令,确保已经安装了openssl php扩展2、接下来要安装Linux opensslyum -y install openssl-devel3、生成RSA公钥和私钥3.1、生成私钥openssl genrsa 1024 > rsa_private.ke...
2018-01-22 12:28:21 1899
原创 *【PHP内置函数】empty、isset、isnull的区别
empty如果 变量 是非空或非零的值,则 empty() 返回 FALSE。换句话说,”"、0、”0″、NULL、FALSE、array()、var $var、未定义;以及没有任何属性的对象都将被认为是空的,如果 var 为空,则返回 TRUE。isset如果 变量 存在(非NULL)则返回 TRUE,否则空返回 FALSE(包括未定义)。变量值设置为:null,返回也是false;...
2018-01-15 19:26:44 269
原创 域名还没有解析到阿里云服务器上,怎么通过域名访问??
1、在服务上,建虚拟主机然后在2、在本地hosts文件中配置 主机 域名(其实是通过本机dns解析指向到服务上)
2018-01-15 15:54:11 3993
原创 *【封装js函数】--处理数字
1、生成0-1之间的随机数,小数点显示2位 var num=Math.random(); var newNum =num.toFixed(2); alert(newNum);2、
2018-01-14 23:03:28 200
原创 *XML中[CDATA[%s]]的作用是什么
"<xml><ToUserName><![CDATA[%s]]></ToUserName><CreateTime>%s</CreateTime></xml>";以上语句中(1)[CDATA[%s]]中%s的作用是什么?(2)<CreateTime>%s&
2018-01-14 14:00:37 3961
原创 *php文件上传 错误码
注意:1、上传文件的时候,在html里面的form表单一定要标注:enctype='multipart/form-data'2、有种说法,要求一定要在form表单里面,在file前面加上隐藏域如:<inputtype=hiddenname='MAX_FILE_SIZE'value='value'>文件上传错误代码: 预定义变量$_FILES数组...
2018-01-14 12:12:32 608
转载 svn——'svn'不是内部或外部命令,也不是可运行的程序或批处理文件
在安装svn工具后,我们一般会用客户端进行操作,但是也不会避免使用svn命令对项目进行操作。那么就有可能回遇到这个问题。'svn' 不是内部或外部命令,也不是可运行的程序或批处理文件。下面是这个问题的解决方案:1、首先先看自己本地环境变量是否配置了,如下图是我的svn配置的路径:(不知道配置环境变量请自行百度)2、如果本地环境变量配置了,还是报这个错误,那么就是安装时候有个选项没有进行更改,默认情...
2018-01-13 20:49:24 15228
原创 *PHP中冒号、endif、endwhile、endfor使用介绍
这些都是PHP的语法,只不过不常用而已,这些都是PHP流程控制的替代语法(是一些语法的另类写法)PHP中那些语法有替代语法?流程控制(包括if,while,for,foreach,switch)这几个语句有替代语法。替代语法的基本形式:左花括号 { 换成冒号 :把右花括号 } 分别换成 endif; || endwhile; || endfor; || endforea...
2018-01-13 20:39:16 653
原创 制作自己的nginx、mysql、php等一键启动脚本
默认TP的伪静态是如果文件路径对应下有文件,则返回文件。否则,交给index.php 由pathinfo确定路由
2018-01-13 19:58:45 1579
原创 php开发微信错误总结
1、微信效验服务器,token老是效验失败。环境:我用的是thinkcmf5,继承了他的AdminBaseController,这个父类的构造方法中有验证,不要继承该父类原因:服务器没有权限解决:简单粗暴点,整个项目全部加上777的权限2、如果不是真实域名解析上去,而是通过http://blog.csdn.net/qq_33862644/article/details/79
2018-01-13 19:53:56 873
原创 php框架错误总结
tp5框架:1、页面错误!请稍后再试~ 原因:往服务器上传代码,传错目录了。导致代码重叠,目录混乱解决:整个干掉,重新上传2、权限问题3、代码和数据库在同一个服务器。配置文件中写localhost。因为是在同一个服务器相当于是本机4、上传文件,超出设置的大小,不会报错
2018-01-13 19:52:13 289
原创 *php接收json(text/xml)格式数据
在API服务中,目前流行采用json形式来交互。给前端调用的接口输出Json数据,这个比较简单,只需要组织好数据,用json_encode($array) 转化一下,前端就得到json格式的数据。接收前端提交的json数据稍微复杂一点,原因是:PHP默认识别的数据类型是application/x-www.form-urlencoded标准的数据类型。因此,对型如text/xml或者so...
2018-01-08 17:28:21 765
原创 【Linux安装错误】源码编译安装php7.0.27报错
[root@localhost etc]# service php-fpm startStarting php-fpm [28-Nov-2016 17:13:23] WARNING: Nothing matches the include pattern ‘/usr/local/php/etc/php-fpm.d/*.conf’ from /usr/local/php/etc/php-fp
2018-01-08 12:40:07 7492
原创 *php如何开启短标签
什么是短标签??我们常见的写法是<?php?>短标签的写法是:<? /*程序操作*/ ?><?=/*函数*/?> 有没有发现,比常见写法省略掉了php,或也可以说成是用=替代了php如何开启??在php.ini(配置文件)中设置为on:short_open_tag = On...
2018-01-07 14:09:13 2304
原创 【响应状态码】500开头的服务器错误总结
500以上的错误,大部分是服务器配置的问题502错误:1、先杀进程 killall php-fpm; 再重启 php-fpm -R 2、php或mysql没有开启500错误:基本上都是自己在控制器/方法中写错了。如 模型名写错。该请求是个ajax,处理请求的方法中打印没有注释或删除其他服务器错误:1、自己的域名解析到公司服务器访问不到,报404。 原因:配置的虚拟主机有个项目根目录,nginx...
2018-01-07 13:18:24 6730
原创 *【思路】查错思路
通用查错思路打印也可称为打断点1、在知道错误是哪个控制器哪个方法或哪个配置文件的情况下。先预估错误大概发生的位置2、预估不了的话,直接进入该方法,先随便打印,看看有没有进入该文件3、进入之后打印变量,能打印就打印,打印不出来就随便echo 。到哪echo 不出来了,应该就是哪的错误了调整资源目录思路:如果是图片,或css还好办。直接看有无显示就知道,是否引入错误了...
2018-01-07 13:12:44 228
转载 linux devel包 和 非devel包的区别
devel 包主要是供开发用,至少包括以下2个东西:1. 头文件2. 链接库有的还含有开发文档或演示代码。以 glib 和 glib-devel 为例:如果你安装基于 glib 开发的程序,只需要安装 glib 包就行了。但是如果你要编译使用了 glib 的源代码,则需要安装 glib-devel。转自 http://tieba.baidu.com/p/1716942558
2018-01-07 11:43:31 3516
原创 *【思路】程序员怎么快速接手一个项目
可能不管新手老手有些程序员,接手一个项目之后都会多少有些迷惘。以下是本人总结出来的一点小心得,如果错误希望大家给我留言,一起讨论:最重要的事儿如果你总是看见代码多就发愁,看见代码脏乱差就诅咒埋怨,看见代码逻辑复杂就头疼,搞不清调用关系就放弃,那你可能永远也变不成代码的主人,只能一次又一次被代码蹂躏。所以,其实交接代码最重要的事儿,就是:不要被浩渺如烟并且陌生怪诞的代...
2018-01-07 11:36:21 6446 2
转载 *轻松学习正则表达式
也许你是初学者,那以防万一,我先来讲讲什么是正则表达式吧:正则表达式可以帮助我们更好的描述复杂的文本格式。一旦你描述清楚了这些格式,那你就可以利用它们对文本数据进行检索、替换、提取和修改操作。下面有一个正则表达式的简单例子。第一步先要引入有关正则式的命名空间:using System.Text.RegularExpressions;第二步就是用指定的正则式构建一个正则表达式...
2018-01-07 01:26:39 220
原创 *通俗易懂,记忆深刻的cookie和session的理解
会话原理:每点击一个连接,或打开一个网页就是一个会话。http本身就是无状态,网页和网页之间也没有关系。只有一种情况下有关系,就是后台的网页,要先登录后才能进入,登录时一个网页,登录后是一个网页。cookie和session机制:会话保持的功能(记录会话),为了解决http无状态这个问题cookie:第一次请求:cookie是服务器生成的一个字符串(P...
2018-01-01 11:05:57 2726
php使用阿里大鱼发短信
2018-05-17
linux服务器centos优化服务手册
2018-02-08
BvSshClient
2018-01-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人