codsing-CSDN博客

原创动态页面内容抓取并保存json文件

话不多说，直接上代码 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2020-03-26 20:52 # @Author : 蓝狼 # @File : scrapy3.py # @Desc : 抓取动态页面到json文件 import json import threading import time im...

2020-03-26 22:26:41 589

原创数据抓取实战demo

话不多说，直接上代码 import requests import pymongo from pyquery import PyQuery as pq import re import logging from urllib.parse import urljoin logging.basicConfig(level=logging.INFO, format='%(asctime)s - ...

2020-03-22 23:42:55 341

原创 python之pyquery

话不多少就是上代码 #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2020-03-17 21:16 # @Author : 蓝狼 # @File : star_data_scrapy.py # @Desc : 明星资料抓取 import time import pymysql import requests...

2020-03-18 00:00:15 194 1

原创 python之多线程图片抓取

站点目标：https://www.2717.com/ 编写脚本： import os import threading import time import requests from bs4 import BeautifulSoup headers = { 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3...

2020-03-08 16:25:29 3116

原创 docker下的nginx实战

使用docker搭建nginx服务 1. 拉取nginx镜像 docker pull nginx 2. 简单启动nginx服务 docker run -d -p 80:80 --name nginx-server nginx 参数说明： run 运行容器 -d = daemon 后台运行，守护进程 -p 端口映射。顺序为：宿主机端口（即外部端...

2020-01-19 23:05:05 166

原创 PHP高级程序员所要掌握的技能

很多面试，很多人员能力要求都有“PHP高级工程师的字眼”，如果您真心喜欢PHP，并且您刚起步，那么我简单说说一个PHP高级工程师所应该具备的，希望给初级或已经达到中级的PHP工程师一些帮助。一、平静的心态和所有程序员一样，要写一手好的程序，没有好的心态是不行的。遇事不可急躁，不可轻言放弃。在程序开发过程中，尤其是初中级程序员，写出的程序或架构会遇到很多问题，其中一些问题比较弱智，...

2019-02-01 11:51:42 483

原创 swoole基础之毫秒定时器

在平常的开发中,我们最常用的方式处理,是使用linux提供的crontab功能进行定时处理.但是很明显它有一个缺陷,那就是时间的粒度只能是分钟级别的,如果想使用秒级的就不行了,这个时候我们的基于swoole的毫秒定时器就可以很好的解决这个问题. 系统提供了三个函数供调用: swoole_timer_tick,swoole_timer_after,swoole_...

2018-12-23 17:03:15 373

原创 swoole基础之task任务

日常对于比较耗时的操作,我们一般不影响性能和客户体验的情况,会将任务交给一个任务去执行,例如:发送邮件,广播...... 对于使用task任务,我们之前需要进行一个参数的必要设置:task_worker_num 配置Task进程的数量，配置此参数后将会启用task功能。所以Server务必要注册onTask、onFinish2个事件回调函数。如果没有注册，...

2018-12-23 16:10:40 451

原创 swoole基础之websocket服务

websocket协议是基于tcp的一种新的网络协议.它实现了浏览器与服务器全双工通信 - 允许服务器主动向客户端发送消息 websocket的请求与普通的HTTP的请求不同支持,可以通过请求头,看出一些端倪: general Request URL: ws://192.168.33.20:8812/ Request Method: GET Status Code...

2018-12-22 17:12:00 355

原创 swoole基础之http-server

一般我们使用的http服务器都是例如Apache和NGINX的较多,同样swoole本身也自带了http的这种服务,可以直接进行使用,但是在这个的上层我们一般会加nginx服务进行fastcgi转发到swoole的http服务中. 一般我们在测试的使用可以使用两种常见的方式进行http服务的测试使用浏览器直接访问地址 +端口 (要HTTPserver要绑定0.0.0.0都...

2018-12-22 16:27:13 820

原创 swoole基础之tcp+client

最近工作需要,接触了swoole,感觉有必要好好学习一下,废话少说笔记走起~~~ 文档参考: https://wiki.swoole.com swoole一般以cli的方式方式来运行一个服务,所以在启动这个服务的时候,有些参数是需要进行必要设置的. 进程的数量 worker_num (一般设置为CPU核数的1-4倍) 实用命令: ...

2018-12-22 15:52:04 279

原创 python之知识点总结

作为初学Python的小白来说，记录一些学习过程中遇到的问题是十分有必要的。 1）列表的声明方式不同，操作不同 a = b = [] or a = [] b = [] 第一种方式直接导致变量a与b的值是一致的，这个和PHP是有区别的。 2）对象可变性在 python 中，strings, tuples, 和 numbers 是不可...

2018-12-09 22:46:10 93

原创 Python之注意事项

在学习Python的过程遇到了很多的坑，在此总结一下，继续努力学习 1. Python文件的名称给一个Python脚本命名的时候，注意不要与自带类库的名称一样，否则，会报模块不存在或者模块中的某个方法不能使用和缺失。 ...

2018-12-09 22:11:02 152

X-wolf的博客