- 博客(22)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 使用nodejs写爬虫，jsdom和querySelector的使用
axios.get 获取网页html信息，其中的response.data可以使用jsdom加载为dom，之后可以采用querySelector和querySelectorall来进行后续的操作。包含class，使用了点来选取，div中含有，就是 div.note。拿到dom之后，我们就可以使用dom操作来选择我们要的元素了。某个<x>元素包含某个类y，那就是 x.y 或 用逗号来表示。特别的，假如我们想选择某一元素<x>的多级子元素，可以使用。元素的列表，其直接父元素是一个 class 为。
2024-03-12 16:51:49
332
原创 爬虫+可视化+服务器部署上云 一个.js全到位
可视化界面部分效果，还是有点意思的用到技术node：爬虫+后端vue+bootstrap：前端node-socket.io:网页和后端通讯node-axios:爬虫node-xpath:解析html思路，node中使用axios持续请求网页，做到爬虫效果。手动cookie池，代理池，跳过登录。爬到html之后xpath解析，解析完成存储到mysql解决重复爬取问题，使用MD5当做唯一码，入库前先对比md5，如果是新的就入库。前端使用vue.
2021-09-13 14:16:13
155
原创 SOCKET.IO坑当客户端发送数据，服务器端用广播回复时收不到的情况
socket.broadcast.emit("xx"，msg),有人发消息，处理消息内部这么回复，那个发消息的客户端收不到消息因为broadcast广播是给除了这个发消息的客户端之外的所有客户端去发消息，坑死我了。要定向给他回复，这么弄应该是防止死循环吧浪费俩小时才搞明白，好狠...
2021-09-08 01:00:30
704
原创 python的图片转pdf
# 2020.11.11# python 3+#################from PIL import Imageimport matplotlib.pyplot as pltimport osdef combine2Pdf( folderPath, pdfFilePath ): files = os.listdir( folderPath ) pngFiles = [] sources = [] print(files) for fil...
2020-12-17 19:56:27
227
原创 python pip换源
pip install x-i https://pypi.tuna.tsinghua.edu.cn/simplepip install x == 12345 可以查看所有可用的版本windwos永久化换源新建cmd文件写入如下，运行即可(以管理员身份运行)md %appdata%\pipcd %appdata%\pip(echo [global]echo timeout = 6000echo index-url = https://mirrors.aliyun.com/p...
2020-11-28 14:16:54
80
原创 浏览器console中向canvas插入一个图片
//获取到需要画图的canvasvar canvas = document.getElementById("can_draw1")//获取绘制对象var context = canvas.getContext("2d")//创建一个图对象var image = new Image();//定义图片内容image.src = "data:image/png;base64,图片的base64值"//绘制，2,3参数为绘制的坐标位置context.drawImage(imag.
2020-11-16 11:21:30
161
原创 反编译pyinstaller打包的文件和pyc文件
工具：pyinstxtractorwinhexpython pyinstxtractor xx.exe解包之后，会有一个都是pyc的文件夹，然后使用winhex。将主程序的pyc，hex前16位改成主文件夹下的struct的第一行。然后用uncompyle去还原pip install uncompyleuncompyle6 ?.pyc > ?.py...
2020-07-09 18:26:03
485
原创 解决某些sh自动安装脚本时遇到的apt-update的错误问题
问题具体提示：W: Failed to fetch http://ppa.launchpad.net/jonathonf/python-3.6/ubuntu/dists/trusty/main/binary-amd64/Packages 403 Forbidden [IP: 91.189.95.83 80]W: Failed to fetch http://ppa.launchpad.net/jonathonf/python-3.7/ubuntu/dists/trusty/main/binary..
2020-06-14 17:21:12
332
原创 vscode插件整理
Remote - SSH远程编辑服务器代码，调试，debug等。特点，可以在远程服务器使用搜索功能。使用方法，左下角小图标或者F1 输入快捷命令。
2020-03-29 14:59:23
91
原创 OBS远程控制开发记录
:语言: js+h5框架:vue+bs3使用插件obs-websocket实现对obs的控制和信息获取继而进行接下来的开发使用winapi对obs当前效果上传，做到了远程控制+实时预览的效果。实际预览图可达30fps，操作反馈效果良好。...
2020-01-08 11:39:29
1699
4
原创 nodejs+express+vue+npm开发环境从0到1
下载nodehttp://nodejs.cn/download/powershell 打开npm init 新建包npm install express-generator -g express框架项目构建器express myapp 生成名为myapp项目 cd进去npm install ...
2020-01-05 16:50:19
272
原创 JS的几种遍历方法
原生：foreach遍历数组，执行内部方法用法：foreach((item,index)=>{functioncontent});filter 遍历数组然后根据内部方法判断是否存在于新数组中用法：数组a.filter((item)=>{return true or false})some 遍历数组，并执行内部函数，一项为true则停止遍历返回true，所有都f...
2019-09-03 00:37:39
82
原创 nodejs+nginx+pm2运行环境——ubuntu配置
使用机型：阿里云学生款-深圳-轻量型服务器操作平台：xftp+xshell命令分先后：git : sudo apt-get install gitvim: sudo apt-get install vim1.~1装node环境：nvm，即是Node Version Manager(Node版本管理器)Git InstallIf you havegitinst...
2019-08-29 02:44:33
273
转载 MySql Host is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts' 解决方法
环境：linux，mysql5.5.21错误：Host is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts'原因： 同一个ip在短时间内产生太多（超过mysql数据库max_connection_errors的最大值）中断的数据库连接而导致的阻塞；解决方法：1、提...
2019-08-20 20:54:42
190
原创 python 处理时间 time和datetime
unix时间戳时间 需要import timetime.time()unix时间戳转datetime 时间 import datetimedatetime.datetime.fromtimestamp( uinxtime )格式化输出时间:print(time.strftime('%Y-%m-%d',time.localtime(time.time()))) dat...
2019-08-13 20:10:08
220
原创 ubuntu mysql配置生产环境
1.安装mysqlsudo dpkg -i mysql-apt-config_w.x.y-z_all.debsudo apt-get updatesudo apt-get install mysql-server顺序执行。之后 安装。数据库目录：/var/lib/mysql/配置文件：/usr/share/mysql（命令及配置文件） ，/etc/mysql（如...
2019-08-13 13:50:03
216
转载 SQL语句
原文地址http://blog.knowsky.com/208115.htm1增1.1【插入单行】insert [into] (列名) values (列值)例：insert into Strdents (姓名,性别,出生日期) values ('开心朋朋','男','1980/6/15')1.2【将现有表数据添加到一个已有表】insert
2017-08-05 16:43:59
111
转载 这位老哥拯救了我的平板！
油手好咸 2016-05-29 22:25:59买了个便宜的上网本，上面只有win10, 于是重格，差点毁机，询问官方说只能装win10, XXX...于是改装Ubuntu14吧，发现RTL8723B无线网卡也很奇葩只有windows驱动，于是各种搜索，发现有人说RTL8723BU也可以驱动RTL8723B.执行git clone https://github.com/lwfing
2017-04-10 22:40:07
213
原创 ROS命令整理
roscore 打开总控制中心rospack list 查看包列表 清单文件(文件名为 package.xml)定义。每个程序包由一个清单文件(文件名为 package.xml)定义。该文件定义关于包的一些细节,包括其名称、版本、维护者和依赖关系。包含 package.xml 文件的目录被称为软件包目录。rospack find
2017-04-09 18:21:45
345
转载 欢迎使用CSDN-markdown编辑器
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-04-09 18:17:55
108
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人