- 博客(8)
- 收藏
- 关注
RSS订阅原创 一种自行封装ArcGIS中文安装包的方法
ESRI 的安装包是不公开下载的，需要有效的许可证，登陆下载。俄网等地有提供英文和俄文的安装包，其他语言包或许会作为附件提供。其实，中文语言安装包如果没有大佬放出的话，也是可以自己组装的。⚠阅前须知⚠**从根本上来讲，先装英文版，再装中文包也没问题。**本文的目的就是两个字——折腾。本文以中文语言包为例展开。......
2022-08-31 19:17:49
1067
1
原创 sed中混用单引号和双引号
网上查了不少文章，大多数都没提到单双引号混用的办法，都是建议单引号内容用双引号括起来，双引号内容用单引号括起来。只能自己试一试了。总结了一下办法
2022-06-30 21:07:30
1937
原创 ❓[杂谈小记]lean‘s LEDE or OPENWRT
根据网上的一些教程接触到了 OpenWrt，进而根据一些小白教程，了解并解除到了 LEDE 项目，提供了极大的便利。发现了 lean’s lede 和 openwrt的。。。
2022-06-29 21:43:47
9219
原创 老毛子padavan实现修改自定义ssh端口和ipv6外网访问
本文目的：padavan下，自定义 SSH 端口 并实现 ipv6 外网访问。使用的是 hiboy 大的 padavan 固件。在 WebUI 中，可以启用内网下 22 端口的服务，并通过端口转发实现 ipv4 下的外网访问，但是 ipv6 暂时不行。
2022-04-10 20:39:54
15099
原创 Scrapy - 爬取极客学院系列课程信息
分析需求：VIP账号将要到期，模拟正常浏览爬取HTML知识体系图信息，并以EXCEL形式存储。思路：分析页面结构，找出有用信息特征结构在spider中进行页面解析，以字典形式存储，返回itempipiline解析item信息，并以excel工作表形式存储到本地进行相关配置页面分析知识体系图页面为三级结构体系图列表页面HTML5体系图页面XX体系图页面......学习阶段1.....
2019-04-20 21:02:21
181
原创 scrapy - 在spider中添加自己log函数
前言scrapy框架提供了一些报告等级，但是要做到在爬取过程中实现自己的个性化报告方式，还是要自行添加log函数。分析需求：在一个spider项目中，涉及十数个分支的爬取，希望存储到不同的log文件下。可以拥有自定义的报告等级，例如区分是主页还是分支页产生的报告。自定义报告信息综上，应该是一个拥有三个输入参数的函数。代码实现具体的代码实现很简单，以下是作为spider中的一个...
2019-04-19 21:07:52
1046
原创 Scrpy 使用中间件(middleware)实现随机UA
前言UA，即USER_AGENT，是在Request中的header（请求头）部分包含的一个键值对，常用于标志浏览器名称及版本。Q：为什么设置随机UA？A：有的网站采用了UA黑/白名单机制，不适用合规的UA会导致无法正确地爬取到正常访问的网页。使用随机请求头，能更好地伪装浏览器，防止被Ban。Q：如何在每次请求时，更换不同的USER_AGENT？A：在Scrapy启用DOWNLO...
2019-04-19 16:23:11
442
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人