风华渐逝-CSDN博客

原创全网代理IP，IP信息爬取

反击爬虫，前端工程师的脑洞可以有多大？尝试上述文章中的全网IP的IP地址爬取。使用网页分析工具可以发现，网页上隐藏了所有 p 标签中 style属性为display: none;的标签。想要获取正确的IP地址文本，需要将所有属性值为 display: none;的标签删除。可以使用 BeautifulSoup 的 extract 功能实现该功能。for i,td

2017-10-31 16:53:02 766

原创猫眼电影票房爬取

前段时间看到了一篇文章：《反击爬虫，前端工程师的脑洞可以有多大？》当中介绍了几个前端反扒的思路。感觉挺有意思的。这篇文章是记录自己动手爬取天猫票房时遇到的问题网上已经有朋友介绍了，票房爬取的思路反击“猫眼电影”网站的反爬虫策略以及原理利用自定义web-font实现数据防采集在测试文章中代码时，发现python3 中并没有 fontforge 包。在网

2017-10-31 15:44:19 6371 1

原创 python 处理Excel 常见问题- 写入Excel

情境：读取Excel自动处理时，往往会在数据后面加一个处理标识，记录以处理数据与未处理数据以处理上述Excel为例1. xlwtxlwt是一个写入的Excel的包注意：xlwt写入Excel，是一个新建的Excel上进行操作，原Excel中存在数据也同样需要写入import xlrdimport xlwtdef read_excel(fname,s

2017-10-19 15:34:23 2096

原创 python 处理Excel 常见问题-读取Excel中时间

Excel 时间读取当本地Excel存有一个时间列时，使用下面代码读取Excelimport xlrdbook = xlrd.open_workbook('demo.xls')sheet = book.sheet_by_name('Sheet1')for row in range(sheet.nrows):print(sheet.row_values(row))# 输出：#

2017-10-17 17:38:07 20269 2

原创工作中常用的网站

验证IP来源：http://ip.chinaz.com/getip.aspxbase64，MD5在线加密http://tool.chinaz.com/Tools/Base64.aspxurl，utf8在线加密,时间戳http://tool.chinaz.com/tools/urlencode.aspx在线代码格式化http://tool.osch

2017-06-28 09:32:49 413

原创 python 调用js中的方法

先上代码：import execjs#执行本地的jsdef get_js(): # f = open("D:/WorkSpace/MyWorkSpace/jsdemo/js/des_rsa.js",'r',encoding='UTF-8') f = open("./js/des_rsa.js", 'r', encoding='UTF-8') line = f.re

2017-06-06 15:27:07 38010 4

原创 list列表计数方法

def get_counts(sequence): counts = {} for x in sequence: if x in counts: counts[x] += 1 else: counts[x] = 1 return countsdef get_counts2(sequence)

2017-05-04 18:24:33 3183

原创处理 python 无法抓取 HTTPS 请求

处理方法：声明 verify = False例：（以下请求中，博主都已开启了抓包工具）当开启抓包工具时，请求 https 会报出异常，无法正常请求r = requests.get('https://www.baidu.com/' ,verify = False)dang声明 verify = False,才能正常返回抓取信息

2017-04-18 10:01:39 3587

原创 [Delphi]IDHTTP 获取URL网络异常返回报文

今天碰到一个接口，该接口存在一种情况，get请求不正确时会返回报文的同时会返回 URL网络异常，并非像其他接口一样，直接返回报文而Delphi的Idhttp 控件 get 出现URL异常后，Response 内是空值,但是通过抓包工具抓取，对方网页是有返回 Response 报文，上网搜索原因,在XX上，有一回答是说idhttp出现URL异常后会清空报文跟踪IDHTTP控件（XE

2016-12-19 22:32:23 2291 1

原创 windows 下常用的网络相关命令

ping 地址测试地址是否通畅telnet 地址（不带http）端口号测试地址某端口是否开启netstat -ano检查本地所有正在监听的端口netstat -aon|findstr "9050"检查 9050（固定）端口监听状态tasklist|findstr "2016"根据 netstat -aon|findstr 检测到

2016-12-04 14:03:58 392

原创使用 Git 和 GitHub 托管项目源码

这段时间想研究下，GitHub 的使用，但是桌面版下载速度贼慢（貌似需要FQ）好在廖雪峰老师有一个 Git 的教程，也可以和 GitHub 配合使用廖雪峰老师的Git教程：http://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000现将学习时，用到的东西记录如下（有些乱，主要都是网上找

2016-11-26 21:13:16 375

原创 Delphi webbrowser 的一些方法

因为一个任务，最近几天一直在研究Webbrowser的相关功能，下面是收集到的一些方法 //根据URL获取请求Headerfunction GetAllHeaders(URL: string): string;var hSession: HInternet; hURL: HInternet; hReq: HInternet; bRet: Boolean;

2016-11-26 21:13:13 861

原创 Delphi 实现图灵机器人API（IDHTTP POST ）

此功能所需的 Key及接口文档，都可以在图灵机器人的官网下载，小伙伴们需要申请自己的图灵机器人账号。申请方法请自行百度“图灵机器人” 。登录账号后，在左侧的[机器人接入]，获取需要的信息,记得一定要关闭 secret,开启的话,需要对请求进行特殊处理，具体处理方法可以看接口文档中的“数据加密Demo”，当然Java 开发的小伙伴可以直接使用Demo（流行的语言真

2016-11-26 21:13:10 1162

原创 Delphi 中调用JS文件中的方法

unit Unit1;interfaceuses Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms, Dialogs, StdCtrls,ComObj,ActiveX;type TForm1 = class(TForm) Memo1: TMemo;

2016-11-26 21:13:08 3227

原创 HTTP 常见异常状态及Delphi IDHTTP 控件处理方式

以下部分为网上查找，部分为工作中整理200：请求成功 202：请求被接受，但处理尚未完成 302：请求到的资源在一个不同的URL处临时保存处理方式：重定向到临时的URL(IDHTTP处理方式 : IdHTTP.HandleRedirects := True;)404：没有找到URL 处理方式：确认网页是否正确415：请求格式问题处理方式：设

2016-11-26 21:13:05 2970

原创 Delphi Cookie获取及使用

以下方法为网上搜集整理,留做备份，随时更新一：通过URL获取CanGetIECookie(URL,g_cookie);function CanGetIECookie(const URL: string; var Cookie: string): boolean; var lpvBuffer: array[0..1000] of

2016-11-26 21:13:03 2910

原创 Delphi IDHTTP控件：GET/POST 请求

最近一直在使用IDHTTP，下面是一些关于 GET、POST 请求基本使用方法的代码一、GET 请求 1 procedure GetDemo; 2 var 3 IdHttp : TIdHTTP; 4 Url : string;//请求地址 5 ResponseStream : TStringStream; //返回信息 6 ResponseStr :

2016-11-26 21:13:00 1188

FengHuaJianShi的专栏