kickmeout-CSDN博客

原创使用scrapy写爬虫的都是交智商税的

我认为使用scrapy写爬虫的都是交智商税的。原因如下： ①爬虫归根到底都是使用 http request来请求页面内容，并对网页内容进行解析。scrapy底层与requests库这块实现的功能是一样的。还不如requests库用的方便直接。 ②scrapy架构比较复杂，如果你已经有自己的框架，这个scrapy是不合适的，太重了。 ③scrapy需要学习曲线去掌握的，架构层次比较多，需要时间掌握。 ④爬虫的核心不在于架构在于解决反爬虫的机制，同样scrapy这个架构没解决这个问题。 ⑤如果你需

2021-07-13 14:49:12 448

原创 django 通过pymysql库连接多个数据库源爬坑记

首先，网上查到的一堆文档都是垃圾。基本上都是复制粘贴。告诉你都没有用的。我只需要pymysql直接使用sql语句查询的数据，这帮垃圾说还要修改models。还要什么migrate 数据库。跟models有个半毛钱关系啊。其实非常简单只需要3步操作：第一步：在settings.py中定义数据库源如： DATABASES = { 'default': { 'NAME': 'app_data', 'ENGINE': 'django.db.backends.p

2021-07-13 14:35:29 678

原创 golang 反汇编的命令

main.go内容如下： package main import ( "fmt" ) func main() { fmt.Println("zzzzzzzzzzz") } 可以使用以下的命令反汇编出来plan 9汇编指令的内容： #以下两种命令都可以 go tool compile -S main.go go build -gcflags -S main.go windows平台与linux平台反汇编出来的汇编指令内容是一致的：下面是windows系统的内容： go tool

2021-03-24 13:50:02 1008

原创 cannot find module providing package github.com/labstack/echo 解决方案

原因：只要设置了GOPROXY，开启了 GO111MODULE。 go get -u github.com/labstack/echo/... 包会下载到$GOPATH\src\pkg\ golang 代码中import 包，会去$GOPATH\src\目录找该包。需要运行下面的命令： go mod init echo go mod edit -require github.com/labstack/echo@latest 就可以正常运行echo框架代码了。 ...

2021-01-28 13:46:49 1136

原创 HTTP Digest authentication(摘要认证)和HTTP basic Authorization（普通认证）用户登出注销的方法

最近项目中需要对普通认证HTTP basic Authorization和摘要认证HTTP Digest authenticatio登录进行注销。搜索到有几篇文章号称ie，Firefox、chrome都可以可以注销，其实根本不能，真是垃圾。这块资料比较少，坑比较多。这个破事儿翻搭来翻搭去有一阵子，后来彻底解决。 ①前端：注销可以采用的方法如下，如果有效则不再需要后端处理了：请在前端js注销处理函数中调用clearAuthenticationCache function AuthLogout(pag

2021-01-25 14:30:22 1402

原创 Spyder同时运行多个进程窗口

因为需要写多个工程代码，所以需要同时打开多个spyder窗口的朋友，可以在原有spyder快捷方式上增加一个运行参数：--new-instance 即可解决。我的spyder的快捷方式的运行目标内容如下： D:\Anaconda3\pythonw.exe d:\Anaconda3\cwp.py d:\Anaconda3 d:\Anaconda3\pythonw.exe d:\Anacon...

2020-03-31 14:31:54 6893 2