GOODDEEP

代写java、python 、网站、公众号、算法、搜索、爬虫、app,ios,android,微信:qqqkj520 ,QQ:122043580 。。。。...

排序:
默认
按更新时间
按访问量

浅谈HTTPS以及Fiddler抓取HTTPS协议

最近想尝试基于Fiddler的录制功能做一些接口的获取和处理工作,碰到的一个问题就是简单连接Fiddler只能抓取HTTP协议,关键的登录请求等HTTPS协议都没有捕捉到,所以想让Fiddler能够同时抓取到HTTPS和HTTP协议,设置只是很小的一步,关键是了解HTTPS协议的原理、Fiddle...

2018-11-14 11:37:33

阅读数:36

评论数:0

scrapy-redis 安装 及使用 结合例子解释

scrapy-redis安装及配置 scrapy-redis 的安装 pip install scrapy-redis easy_install scrapy-redis 下载 http://redis.io/download 版本推荐 stable 3.0.2 运行redis ...

2018-11-03 18:01:29

阅读数:3704

评论数:0

ConcurrentHashMap原理分析

一、背景: 线程不安全的HashMap     因为多线程环境下,使用Hashmap进行put操作会引起死循环,导致CPU利用率接近100%,所以在并发情况下不能使用HashMap。   效率低下的HashTable容器      HashTable容器使用synchronized来保证...

2018-11-03 18:01:19

阅读数:65

评论数:0

scrapy 处理动态加载,使用phantomjs

前言:几种渲染js,ajax插件对比 (1)selenium+webdriver(如firefox,chrome等)。这要求你系统有对应浏览器,并且过程中要全程开浏览器。说白了,就是你通过浏览器能看到啥,就能抓到啥。一般遇到特别复杂的验证码时,这个方法是有必要的,当然,开着浏览器爬虫的效率可想而...

2018-11-03 18:01:09

阅读数:4961

评论数:0

scrapy-splash 爬虫渲染异步加载,ajax

    首先给出splash官网地址:http://splash.readthedocs.io/en/stable/api.html#render-html 1.安装和准备 (1)先安装scrapy-splash库:   pip install scrapy-splash    ...

2018-11-03 18:01:00

阅读数:4531

评论数:5

scrapy-redis 和 scrapy-splash结合 做分布式渲染爬取

本人在scrapy-redis项目中的setting.py中配置,可时中有问题。但是可以使用以下方法: 首先,你要确保安装了splash,并且已经启动   (1)先安装scrapy-splash库:   [python] view plain copy pip install scra...

2018-11-03 18:00:50

阅读数:2743

评论数:0

keepalived+nginx双机热备+负载均衡

keepalived+nginx双机热备+负载均衡最近因业务扩展,需要将当前的apache 转为nginx(web), 再在web前端放置nginx(负载均衡)。同时结合keepalived 对前端nginx实现HA。nginx进程基于于Master+Slave(worker)多进程模型,自身具有...

2018-11-03 18:00:38

阅读数:262

评论数:0

WSgi+Django+websocket的实现

老版本:django-websocket 新版本:dwebsocket 建议使用信版本,老版本已停止更新 1、安装wsgi,eventlet>=0.17.3   yum install python-setuptools httpd mod_wsgi pip in...

2018-11-03 18:00:27

阅读数:2218

评论数:4

爬虫系列教程

以下为Python2爬虫系列教程: 大家好哈,我呢最近在学习Python爬虫,感觉非常有意思,真的让生活可以方便很多。学习过程中我把一些学习的笔记总结下来,还记录了一些自己实际写的一些小爬虫,在这里跟大家一同分享,希望对Python爬虫感兴趣的童鞋有帮助,如果有机会期待与大家的交流。 Pyth...

2018-11-03 17:59:56

阅读数:534

评论数:0

nginx 配置汇总

(1) 重定向 语法:rewrite regex replacement flag: 关键字 正则 替代内容 flag标记 按照相关的正则表达式与字符串修改URI,指令按照在配置文件中出现的顺序执行。 可以在重写指令后面添加标记...

2018-11-03 17:59:48

阅读数:75

评论数:0

申请Let's Encrypt永久免费SSL证书过程教程及常见问题,及续期

近几年,在浏览器厂商的强力推动下,HTTPS的使用率大增。据统计,Firefox加载的网页中启用HTTPS的占比为67%,谷歌搜索结果中HTTPS站点占比已达50%,HTTPS网站已获得浏览器和搜索引擎的共同青睐。据悉,浏览器开发商Mozilla,Google准备采取下一步措施:将所有的HTTP网...

2018-11-03 17:59:38

阅读数:373

评论数:0

python 使用 pyinstaller打包python程序到exe

环境:python 3.6.4   安装win32环境:https://jaist.dl.sourceforge.net/project/pywin32/pywin32/Build%20221/pywin32-221.win-amd64-py3.6.exe 或者根据自己的Python版本下载 ...

2018-11-03 17:59:11

阅读数:18

评论数:0

java ikanalyzer 动态扩展分词

若要使 自定义分词全部生效,请使用 细粒度分词   package com.thinkgem.jeesite.common.utils; import java.io.StringReader; import java.util.ArrayList; import java.util.Ha...

2018-11-03 17:58:55

阅读数:12

评论数:0

html5 浏览器 录音

html 代码   <!DOCTYPE html> <html> <head> <meta http-equiv=&quo...

2018-11-03 17:58:34

阅读数:18

评论数:0

java 日期的操作汇总

  import java.sql.Timestamp; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.Cal...

2018-11-03 17:58:27

阅读数:19

评论数:0

xpath的一些操作

  xpath 中 //表示当前节点下所有的,不仅仅是下级,还可能是下下级 /表示当前节点的下级,仅仅是下级 注意 类名、文本、属性等可能会带空格,比如:class="abc "  <font title=" na...

2018-11-03 17:58:16

阅读数:15

评论数:0

谈谈HashMap线程不安全的体现

我们先回顾一下HashMap。HashMap是一个数组链表,当一个key/Value对被加入时,首先会通过Hash算法定位出这个键值对要被放入的桶,然后就把它插到相应桶中。如果这个桶中已经有元素了,那么发生了碰撞,这样会在这个桶中形成一个链表。一般来说,当有数据要插入HashMap时,都会检查容量...

2018-11-03 17:57:25

阅读数:25

评论数:0

java 集合类详解

相关学习资料 http://files.cnblogs.com/LittleHann/java%E9%9B%86%E5%90%88%E6%8E%92%E5%BA%8F%E5%8F%8Ajava%E9%9B%86%E5%90%88%E7%B1%BB%E8%AF%A6%E8%A7%A3%28col...

2018-11-03 17:57:06

阅读数:17

评论数:0

HashMap、Hashtable、ConcurrentHashMap的原理与区别

HashTable 底层数组+链表实现,无论key还是value都不能为null,线程安全,实现线程安全的方式是在修改数据时锁住整个HashTable,效率低,ConcurrentHashMap做了相关优化 初始size为11,扩容:newsize = olesize*2+1 计算index...

2018-11-03 17:56:59

阅读数:28

评论数:0

django 模板继承,自定义模板,自定义标签 和 过滤器,,及修改admin原生的change_list.html的样式

准备(必需)工作: 1  在某个app下创建一个名为templatetags(必需,且包名不可变)的包。假设我们在名为polls的app下创建了一个templatetags的包,并在该包下创建了一个名为mytags(随意命名,自定义过滤器和标签的文件都必须在此目录下)的文件。那么目录结构看起来应...

2018-07-02 12:30:19

阅读数:310

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭