- 博客(18)
- 收藏
- 关注
RSS订阅转载 PHP 爬虫体验（三） - 使用PHP + puppeteer爬取js动态渲染的页面内容
之前写的两篇爬虫体验基本上涵盖了一般的Html页面提取场景，但是有些时候，如果目标页面不是纯静态的页面，而是使用js动态渲染的页面（比如one），之前的爬虫就不好使了，这种时候就要借助一些其他工具来进行实现。一般爬取动态页面的思路是通过软件模拟浏览器行为获取到渲染后的页面镜像，然后再对渲染后的页面进行分析，常用的工具有selenium，phantomJs，puppeteer等，通过对...
2019-03-14 17:19:00
726
转载 解决nvm安装的node使用sudo npm报错的问题
主要思路是通过软链将npm添加到usr/local/bin下面：sudo ln -s "$NVM_DIR/versions/node/$(nvm version)/bin/node" "/usr/local/bin/node"sudo ln -s "$NVM_DIR/versions/node/$(nvm version)/bin/npm" "/usr/local/bin/n...
2019-03-08 12:25:00
739
转载 PHP 爬虫体验（二） - 爬取cnblog单篇文章并且自动生成markdown格式hexo文章
自从使用hexo在github page更新博客之后，我每次在cnblog上发布文章，需要手动再更新hexo。hexo使用markdown格式来写文章，手动更新需要对文章本身内容进行转化，做成md文件再进行上传，后来就想到，本身爬虫就可以对页面中的各种元素进行提取，同时markdown使用的是标记语法，那么使用爬虫分析文章元素，提取主要内容并且根据模板自动生成对应的md文件理论上是可行的...
2018-11-22 11:26:00
329
转载 composer 更新项目使用VCS源
我们在PHP开发当中难免会遇到这种情况，在用composer做包管理工具的时候，项目依赖的某个开源组件的部分代码需要根据整个项目的需求进行修改，这种时候可以通过修改vendor包里面的组件源码来实现，然而修改vendor包容易导致一个问题，那就是版本不容易进行管理，如果进行composer update操作很容易就把修改过的代码给覆盖了。将composer的repository管理设置为...
2018-11-21 17:42:00
663
转载 PHP 爬虫体验（一） - 使用dom-crawler和guzzle实现基本的爬虫
网络爬虫在大数据时代可以非常高效地自动进行数据的收集处理，而传统爬虫最简单也是最基本的功能实现原理即是下载网页，然后通过抽取页面元素来达到收集信息的目的。PHP作为一门灵活易用的脚本语言，实现这些功能自然是不在话下的。这里实现爬虫基于两个组件：guzzle：最好用的PHP HTTP客户端，用来进行爬取页面的请求，异步请求和并发请求功能可以用来实现一些后期的扩展功能。dom...
2018-10-15 10:09:00
255
转载 windows环境下给PHP增加rdkafka扩展
因为工作需要kafka作为消息中间件，所以在本地开发环境进行测试的时候需要给PHP添加rdkafka扩展，使用PHP作为producer或者cosumer，在此纪录一下rdkafka的安装过程。扩展下载地址：http://pecl.php.net/package/rdkafka根据自身PHP版本选择相应的包，使用phpinfo()函数可以很方便的查看自己PHP版本：我的是...
2018-04-27 15:47:00
67
转载 在亚马逊aws服务器上添加Google BBR支持
参考文章：https://51.ruyo.net/2783.htmlhttp://blog.csdn.net/VgFengYe/article/details/78609040官方 quick start文档：https://github.com/google/bbr/blob/master/Documentation/bbr-quick-start.md1、获取root...
2018-02-24 16:00:00
404
转载 注册使用免费12个月的亚马逊AWS云计算服务
注册：注册地址为：https://aws.amazon.com/cn/free/点击页面中间的创建免费用户，进入下一步页面然后就是填写各种个人信息的页面了接下来填写付款信息：付款信息会进行一个电话验证，这里需要先填写对应的电话号码和验证码，然后点立刻呼叫我，提示音之后从手机键盘上输入提示的验证码就可以完成验证验证登录完成后进入主界面：选...
2018-02-24 14:30:00
647
转载 PHP static关键字和self关键字的区别
在PHP的一个类中，带有static关键字的方法和属性被称为静态方法和静态属性，这样的方法和属性可以通过类直接访问，而不需要通过类对应的实例来进行访问，在类中访问静态变量以及静态属性的时候，可以使用self关键字和static关键字，两种访问方式看起来似乎没有区别，但是实际上还是不一样的abstract class Person{ public static $_c...
2018-02-22 19:35:00
134
转载 linux系统mysql忘记密码处理
最近开始重新拾掇自己优惠时贪便宜买的一台京东云主机，然而早已经将当年集成环境一键安装时设置的mysql密码给忘了。于是度娘了解决办法，大致分为以下步骤：#停止mysqldservice mysqld stop#以不检查权限的方式启动mysqlmysqld --skip-grant-tables&#用root帐号以空密码的形式登录mysq...
2018-02-06 23:08:00
70
转载 PHP7 新增加的两种运算符
太空舱运算符:$a = 1 <=> 1;//左边等于右边 $a=0$b = 1 <=> 2;//左边小于右边 $b=-1$c = 2 <=> 1;//左边大于右边 $c=1空合并运算符：$a = null;$b = null;$c = 1;$d = $a ?? $b ?? $c ;//...
2018-01-25 17:37:00
129
转载 PHP trait 特性
trait是PHP自5.4版本之后加入的一种新的代码复用机制，是一种细粒度代码复用的方法。官方文档对于trait给出的解释是：自 PHP 5.4.0 起，PHP 实现了一种代码复用的方法，称为 trait。Trait 是为类似 PHP 的单继承语言而准备的一种代码复用机制。Trait 为了减少单继承语言的限制，使开发人员能够自由地在不同层次结构内独立的类中复用 method。...
2017-04-25 17:39:00
169
转载 PHP 字符串拆分函数
function str_split_utf8($str) { $split = 1; $array = array(); for ($i = 0; $i < strlen($str);) { $value = ord($str[$i]); if ($value > 127) { ...
2017-01-23 15:11:00
124
转载 Windows 环境下php安装openssl证书
新的电脑安装了PHP、设置好环境变量之后安装了composer，想要通过composer安装Yii2，结果出现了如下报错： [Composer\Downloader\TransportException] The "https://packagist.org/packages.json" file could not be downloaded: SSL oper...
2016-10-25 15:10:00
251
转载 PHP 按照多个键值给数组分组合并
简介：$array 为一堆数组，各数组键值为固定$keys为分组依据，在$array中按照$keys所指定的键值将数组分组，并且将除$keys指定键值对应的值以外的值合并 1 function groupBy($array,$keys){ 2 $i = 0; 3 while($i < sizeof($array)){ 4 ...
2016-07-21 11:20:00
449
转载 JDBC连接数据库驱动及URL对应表
原文地址：http://www.blogjava.net/fannie/archive/2012/08/14/385456.html数据库驱动及URL对应表注：一般在win7中，数据连接时默认生成的URL中的驱动类型是Access2007，如果连接失败，则本地安装Access2007或以上版本驱动，或者将默认生成的URL中驱动类型改成Access2003类型。转载于:ht...
2016-07-01 17:18:00
127
转载 PHP 闭包（匿名函数）
PHP 在 5.3引入了匿名函数closure的概念，这个也就是俗称的闭包，指的是包含有未绑定到特定对象的变量（自由变量）的代码块创建closure对象：$foo = function(){};//因为相当于将一个closure对象赋值给对象，要遵循对象赋值语法，语句结束需要添加分号$foo();闭包声明参数以及调用外部变量：$value = 'he...
2016-05-03 14:31:00
81
转载 系统升级win10后，wampserver开启处于offline的解决方法
系统升级win10之后，wampserver开启的时候一直处于黄灯offline的状态，查询之后得知win10操作系统会默认占用80端口，于是打开apache的httpd.conf，将listen 80 改为 8088，问题即解决补充，通过修改httpd配置之后只能通过localhost：8088访问，不是特别方便，所以还是得从根本上解决系统默认占用80端口的问题用系统管理员身份...
2016-04-17 10:35:00
170
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人