- 博客(10)
- 收藏
- 关注
RSS订阅原创 python爬虫执行js代码-execjs
一.安装模块pip install PyExecJSexecjs会自动使用当前电脑上的运行时环境（建议用nodejs，与Phantomjs）二.简单的使用import execjsjs_obj = execjs.compile('js字符串')js_obj.call('js字符串中方法',参数)三.js字符串中模拟浏览器环境即导入document与...
2019-10-28 11:03:00
762
原创 pymongo中使用聚合查询
在使用mongo数据库时，简单的查询基本上可以满足大多数的业务场景，但是试想一下，如果要统计某一荐在指定的数据中出现了多少次该怎么查询呢？笨的方法是使用find 将数据查询出来，再使用count() 方法进行数据统计，这个场景还好，但是如果要求其中某个字段的和呢？是不是就非得遍历出相应的数据然后再进行求和运算呢？在mysql中我们经常会用到count、group by 等查询，在mo...
2019-10-28 10:46:00
722
原创 .ssh 别名连接
参考ssh支持配置man ssh_config配置模板vim ~/.ssh/config Host <别名> Port <机器端口号> IdentityFile <密钥的绝对路径> HostName <机器路径> User <机器用户...
2019-10-22 17:36:00
223
原创 ubuntu .ssh 别名连接
参考ssh支持配置man ssh_config配置模板vim ~/.ssh/config Host <别名> Port <机器端口号> IdentityFile <密钥的绝对路径> HostName <机器路径> User <机器用户...
2019-10-22 17:36:00
337
原创 将本地已有的一个项目上传到新建的git仓库的方法
将本地已有的一个非git项目上传到新建的git仓库的方法一共有两种。一、 克隆+拷贝第一种方法比较简单，直接用把远程仓库拉到本地，然后再把自己本地的项目拷贝到仓库中去。然后push到远程仓库上去即可。此方法适用于本地项目不是一个git仓库的情况。具体步骤如下：1、首先克隆git clone git@github.com:yuanmingchen/tensorflo...
2019-10-21 18:38:00
175
原创 【python】-- 多进程的基本语法 、进程间数据交互与共享、进程锁和进程池的使用...
多进程进程之间是相互独立的，python是启动进程的时候，是启动的是原生进程。进程是没有GIL锁的，而且不存在锁的概念，进程之间的数据式不能共享的，而线程是可以的。1、进程的定义用muliprocessing这个包中的Process来定义多进程，跟定义多线程类似?123456789101112...
2019-10-14 19:02:00
219
原创 【python】-- 队列（Queue）、生产者消费者模型
队列（Queue）在多个线程之间安全的交换数据信息，队列在多线程编程中特别有用队列的好处：提高双方的效率，你只需要把数据放到队列中，中间去干别的事情。完成了程序的解耦性，两者关系依赖性没有不大。一、队列的类型：1、lass queue.Queue(maxsize=0)先进先出，后进后出?12345...
2019-10-14 19:01:00
663
原创 【python】-- GIL锁、线程锁（互斥锁）、递归锁（RLock）
GIL锁计算机有4核，代表着同一时间，可以干4个任务。如果单核cpu的话，我启动10个线程，我看上去也是并发的，因为是执行了上下文的切换，让看上去是并发的。但是单核永远肯定时串行的，它肯定是串行的，cpu真正执行的时候，因为一会执行1，一会执行2.。。。。正常的线程就是这个样子的。但是，在python中，无论有多少核，永远都是假象。无论是4核，8核，还是16核.......不好意...
2019-10-14 18:59:00
174
原创 python爬虫_从零开始破解js加密（一）
除了一些类似字体反爬之类的奇淫技巧，js加密应该是反爬相当常见的一部分了，这也是一个分水岭，我能解决基本js加密的才能算入阶。最近正好遇到一个比较简单的js，跟大家分享一下迅雷网盘搜索_838888输入关键字，url变了https://838888.net/search/e8bf9be587bbe79a84e5b7a8e4baba-1-id-s.htm...
2019-10-10 16:36:00
608
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人