自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

herry:我们不生产数据,我们只是数据的搬运工。

python爬虫开发工作四年、欢迎同志们的经验分享以及技术交流

原创 淘宝用了这些技术

        首先今天是母亲节,祝天下母亲快乐。                 目前软件公司和互联网公司仍然是以JAVA为主要的开发语言,阿里巴巴、京东、百度、腾讯、美团、去哪儿、携程等公司否是以Java为主要的编程语言。即使是云计算领域Java 还是aws,Google app,微软azu...

2018-05-13 17:00:59

阅读数 4433

评论数 0

原创 Python-Spyder中文包正式发布!

Python-Spyder中文包正式发布! 关键字:Spyder汉化包,Spyder中文包,Spyder中文汉化包,Anaconda中文包(全系anaconda、spyder均可用) 2018-09-19 有的朋友费劲半天依然无法汉化成功,博主即日起提供付费安装服务,按次收费,如果涉...

2020-02-12 23:31:43

阅读数 61

评论数 0

原创 AI换脸技术deepfakes的邪恶使用(女明星被换脸),还出了简易AI换脸应用FakeApp

AI换脸技术deepfakes的邪恶使用(女明星被换脸),还出了简易AI换脸应用FakeApp 随着机器学习技术的大爆发、显卡算力的巨大提升,AI换脸技术正式被发掘出来。现在可以看到网上各类有知名度的女明星要么被AI换脸到了某些岛国影片上,要么就被换脸到一些性感舞蹈视频上,可以说一个非常正经的技...

2020-02-12 23:31:29

阅读数 529

评论数 0

原创 假期不能出门,深度学习和TensorFlow助您去世界各地到此一游

假期不能出门,深度学习和TensorFlow助您去世界各地到此一游 今年的春节过的实在是太糟心了。元峰活了二十多年,第一次以这种模式过春节。我们在家宅,医护人员却在夜以继日的辛勤工作。首先,我们向医护人员和各行各业奋战在最前线的工作人员致以最崇高的敬意。他们在前线为我们冲锋陷阵,保障了...

2020-02-12 23:31:15

阅读数 99

评论数 0

原创 python爬取youtube视频 多线程 非中文自动翻译

声明:我写的所有文章都是发在博客园的,我看到其他复制粘贴过去的 连个出处也不写,直接打上自己的水印。。。真是没的说了。 前言:前段时间搞了一些爬视频的项目,代码都写好了,这里写文章那就在来重新分析一遍吧。有不好的地方 莫见怪 : ) 环境:python2.7 + win10 开始先说一下...

2020-02-12 23:30:25

阅读数 73

评论数 0

原创 35个高级Python知识点总结

我爱学python关注 412019.11.15 16:18:35字数 5,588阅读 8,524 No.1 一切皆对象 众所周知,Java中强调“一切皆对象”,但是Python中的面向对象比Java更加彻底,因为Python中的类(class)也是对象,函数(function)也是对象,而...

2020-02-12 23:30:06

阅读数 25

评论数 0

原创 阿里资深程序员,给后辈的一点建议,让你少走弯路

前端小咖关注 802019.11.14 13:51:37字数 3,826阅读 22,017 每年都有无数年轻程序员,加入软件行业。他们在学校里学过编程,但是对这个行业的现实一无所知,我今天介绍这个行业的一些实际情况。这几年自己在技术博客沉淀很多技术。其他方面也算成功,至少和同龄人和自己起点一样...

2020-02-12 23:27:55

阅读数 227

评论数 0

原创 靠一工具,把数据分析变成养老工作,做着做着月薪成了3w

数据分析不是个事儿关注 452019.12.05 10:21:50字数 2,030阅读 12,656 记得我刚毕业那年,父母一直让我报考统计局,毕竟对于一名刚刚毕业的数学系应届生来说,铁饭碗的工作无疑是最好的选择。但是当我进入系统之后才发现,枯燥无味的工作根本提不起我的兴趣,升职加薪也不会落到...

2020-02-12 23:27:40

阅读数 71

评论数 0

原创 视频下载,你懂得

1. You-Get 的使用 自从用上MacOS后,系统下载的工具也更多样了。今天说一下,you-get 和youtube-dl下载视频的方法。简单的比如: you-get "https://www.bilibili.com/bangumi/play/ep272144/&quo...

2020-02-12 23:27:25

阅读数 147

评论数 0

原创 youtube爬虫搭建

youtube爬虫搭建 原创置顶 张小竟 最后发布于2019-09-05 19:32:23 阅读数 2035 收藏 展开 一、scrapy代码 # encoding=utf-8 import json import re from urlparse import urljoin from p...

2020-02-12 23:26:48

阅读数 39

评论数 0

原创 Python 与 Excel 终于在一起了(Grid Studio)

不爱吃饭的小孩怎么办关注 412019.11.12 16:47:39字数 1,399阅读 15,757 很多开发者说自从有了 Python/Pandas,Excel 都不怎么用了,用它来处理与可视化表格非常快速。但是这样还是有一大缺陷,操作不是可视化的表格,因此对技能要求更高一点。近日,开发者...

2020-02-12 23:26:06

阅读数 19

评论数 0

原创 Python算法——合并有序数组

while...else...用法 注意索引锁定位置 import time start = time.time() arr1 = [1, 3, 4, 6, 10] arr2 = [2, 5, 8, 11] ans = arr1.copy() ind = 0 for i in range(l...

2020-02-03 23:46:16

阅读数 14

评论数 0

原创 Python算法——二分查找

要求: 从小到大排列的数组,找到值为a的元素 概述: 模拟指针,二分查找需要两个指针,一个指向数组第一个元素,一个指向最后一个元素的后方。查找范围为头尾指针之间的元素。(含头不含尾) 找到查找范围的中间元素,进行判断左右。 numbers = [1, 3, 5, 6, 7, 8, 13, 1...

2020-02-03 23:45:57

阅读数 19

评论数 0

原创 Python算法——构建单链表,添加删除元素

构建: 把链表元素和链表索引分别储存在两个list里。 listvalue = [1, 5, 6, 2, 7, 3] listright = [3, 2, 4, 5, -1, 1] 添加元素: 元素添加时,要先让新元素指针指向后面的元素,再让他前面的元素指针指向新元素!!!!!! 不然,先让前...

2020-02-03 23:45:54

阅读数 20

评论数 0

原创 Python算法(CCF-CSP考试)——双向链表的元素添加删除

双向链表 listvalue = [1, 5, 6, 2, 7, 3] listright = [3, 2, 4, 5, -1, 1] listleft = [-1, 5, 1, 0, 2, 3] 第一个列表为链表元素,二三分别为模拟指针,即对应结点指向左右的元素的位置 元素添加 被添加的元素b...

2020-02-03 23:45:43

阅读数 22

评论数 0

原创 Python算法(CCF-CSP考试)——哈希算法,两个数的和,单词模式匹配,bulls and cows,神奇的词根

哈希算法: 比较 常见的数据查找算法,如顺序查找(最简单,效率低),二分查找(效率高,要求数据有序),深度优先广度优先搜索(对于大数据量查找效率不高),哈希算法(查找快,查询插入删除等简单) 存储 预先设置一个长度M的数组,使用哈希函数F并以数据关键字为自变量,得到唯一返回值(0~M-1)。 ...

2020-02-03 23:45:22

阅读数 33

评论数 0

原创 浅谈互联网那些防不胜防的人肉搜索技巧

浅谈互联网那些防不胜防的人肉搜索技巧 原创:武汉九歌Hack9月19日 本文中使用到的工具在公众号内发送:0063 获取 在互联网上撕逼的时候,总能看见那些说要人肉你,查你户口本这些威胁的语句,那么,人肉搜索真的有那么神秘吗? 接下来我为大家揭示那些人肉的方法技巧 (PS:本文纯属是...

2020-02-03 23:45:13

阅读数 137

评论数 0

原创 XSS(跨站脚本攻击)详解 (上)

XSS(跨站脚本攻击)详解 (上) Hack9月3日 XSS的原理和分类 跨站脚本攻击XSS(Cross Site Scripting),为了不和层叠样式表(Cascading Style Sheets, CSS)的缩写混淆,故将跨站脚本攻击缩写为XSS。恶意攻击者往Web页面里插入恶意Sc...

2020-02-03 23:44:52

阅读数 11

评论数 0

原创 XSS(跨站脚本攻击)详解 (下)

XSS(跨站脚本攻击)详解 (下) Hack9月5日 XSS漏洞的简单攻击测试 反射型XSS: 先放出源代码 //前端 1.html:<html><head lang="en&qu...

2020-02-03 23:44:41

阅读数 32

评论数 0

原创 漫画:程序员一时单身一时爽,一直单身...有点惨

漫画:程序员一时单身一时爽,一直单身...有点惨 Hack6天前 以下文章来源于人工智能爱好者社区,作者前程序员陈彼得 人工智能爱好者社区 专注人工智能、机器学习、深度学习、自然语言处理、算法等顶尖技术前沿科技成果研究、实战技巧。每周都会有原创漫画文章连载,立即关注,掌握人工智能最新资...

2020-02-03 23:44:10

阅读数 80

评论数 0

原创 色情直播类黑色产业链背后黑幕分析

色情直播类黑色产业链背后黑幕分析 暗影安全实验室Hack6天前 丨本文转自嘶吼RoarTalk4hou.com 导读:2019年9月16日,网络安全宣传周在天津开幕,本次宣传周以”网络安全为人民,网络安全靠人民”为主题。当前,我国网络空间安全问题异常严峻,个人隐私保护,网络诈骗,网络钓鱼,网...

2020-02-03 23:43:59

阅读数 3095

评论数 0

原创 SQL注入漏洞详解

判断是否存在SQL注入 一个网站有那么多的页面,那么我们如何判断其中是否存在SQL注入的页面呢?我们可以用网站漏洞扫描工具进行扫描,常见的网站漏洞扫描工具有 AWVS、AppScan、OWASP-ZAP、Nessus 等。 但是在很多时候,还是需要我们自己手动去判断是否存在SQL注入漏洞。...

2020-02-02 23:43:21

阅读数 76

评论数 0

原创 几个shell小程序

说明 GitHub地址:https://github.com/ouyangsuo/SimpleShellDemos 以下外壳脚本,完成后全部拷贝至系统的公共可执行程序目录,使得可以在任意目录下执行 sudo cp hello calc mcp fileinfo guessnum /bin/ ...

2020-02-02 23:43:19

阅读数 10

评论数 0

原创 充气娃娃什么感觉?Python告诉你

充气娃娃什么感觉?Python告诉你 Hack9月21日 以下文章来源于裸睡的猪,作者猪哥 裸睡的猪 猪哥的Python入门教程 今天就带大家来玩一把刺激的! 一、需求背景 在实际开发过程中,在我们动手开发之前,都是由产品经理为我们(测试、前端、后端、项目经理等)先讲解一下需求,...

2020-02-02 23:43:10

阅读数 147

评论数 0

原创 网站敏感目录和文件

网站敏感目录和文件 Hack9月4日 扫描网站目录结构,看看是否可以遍历目录,或者敏感文件泄漏 后台目录:弱口令,万能密码,爆破 安装包:获取数据库信息,甚至是网站源码 上传目录:截断、上传图片马等 mysql管理接口:弱口令、爆破,万能密码,然后脱裤...

2020-02-02 23:42:43

阅读数 128

评论数 0

原创 Nessus扫描器的使用

Nessus扫描器的使用 Hack9月4日 主机扫描(Nessus) 对目标主机进行扫描,而不仅仅是对网站进行扫描,扫描目标主机开放了哪些端口,扫描端口运行的服务,目标主机上有哪些漏洞。 主机扫描的工具也有很多,比如:Nessus Nessus Nessus号称是世界上最流行的漏洞...

2020-02-02 23:42:42

阅读数 89

评论数 0

原创 Nmap详解

Nmap详解 Hack9月4日 需要知道目标服务器开放了哪些端口,常见的如 135 、137 、138 、139 、445,这几个端口经常爆发漏洞。以下是一些服务端口的漏洞: 22——>ssh弱口令 873——>rsync未授权访问漏洞 3306——...

2020-02-02 23:42:33

阅读数 206

评论数 0

原创 DNS域名信息的收集

DNS域名信息的收集 Hack9月4日 DNS域名信息的收集 我们需要收集域名对应的 ip,域名注册人、DNS记录、子域名等等一系列与域名相关的信息。 首先,我们要判断该域名是否存在CDN的情况,我们可以去在线CDN查询网站:http://ping.chinaz.com/ 。如果查...

2020-02-02 23:42:18

阅读数 15

评论数 0

原创 带你用Python分析闲鱼的爆款商品

开店必看!带你用Python分析闲鱼的爆款商品 Hack1周前 以下文章来源于AirPython,作者星安果 AirPython 分享 Python 自动化及爬虫、数据分析实战干货,欢迎关注。 1 目 标 场 景 经常看到有朋友在闲鱼卖些小东西又或是自己擅长的一些技能,都能为...

2020-02-02 23:41:43

阅读数 77

评论数 0

原创 Python实现微信防撤回

Python实现微信防撤回 Hack1周前 以下文章来源于裸睡的猪,作者猪哥 裸睡的猪 猪哥的Python入门教程 微信(WeChat)是腾讯公司于2011年1月21日推出的一款社交软件,8年时间微信做到日活10亿,日消息量450亿。在此期间微信也推出了不少的功能如:“摇一摇”、“漂...

2020-02-01 23:51:28

阅读数 24

评论数 0

原创 Python数据处理分析(三)——分类统计,dataframe复制,每一行列数据计算,一列不同元素个数统计,matplotlib画饼图,以数学建模(2011 A)为例

直接上代码了 import numpy as np import pandas as pd import matplotlib.pyplot as plt import matplotlib as mpl mpl.rcParams["font.sans-serif"]=[&...

2020-02-01 23:50:51

阅读数 38

评论数 0

原创 Python数据分析处理(二)——数据的标准化处理归一化(极差变换)以数学建模(CUMCM 2011 A)为实例(两表同名行列对应计算)

继续之前的数据和工作,进行数据的标准化处理,具体数据可从下方博客链接获取 剔除异常值 放下表一和表二Excel的截图 大体思路: 实际问题中,不同数据可能有不同的性质和量纲,为进行模糊聚类,需进行标准化处理。这里采用极差变换: 放代码: import numpy as n...

2020-02-01 23:50:42

阅读数 66

评论数 0

原创 Python数据分析处理(一)——处理剔除异常值 以全国数学建模(CUMCM 2011 A题)为实例

由于经历一些调试,所以代码结构不一定最优,适合数据处理的新手,大神欢迎提出改进 数据来源: http://www.mcm.edu.cn 设p为均值,s为标准差 由表三可知,元素背景值在[p-s, p+s],所以应用到表一,将不符合的数据剔除 上代码 import numpy...

2020-02-01 23:50:32

阅读数 158

评论数 0

原创 程序员一般通过什么途径接私活?

二哥,你好,我想知道一般程序猿都如何接私活,我也想接,能告诉我一些方法吗? 上面是一个读者“烦不烦”问我的一个问题。其实不止是“烦不烦”,还有很多读者问过我类似这样的问题。 我接的私活不算多,挣到的钱也没有多少,加起来不到 20W。说实话,这个数目说出来我是有点心虚的,毕竟太少了,大家轻喷。但...

2020-02-01 23:50:19

阅读数 73

评论数 0

原创 【python--爬虫】彼岸图网高清壁纸爬虫

前言 你还在为壁纸太过老土被盆友嘲笑而苦恼吗? 你还在为找不到高清壁纸而烦恼吗? 你还在为壁纸网站的收费而感到囊中羞涩吗? NO,NO,NO!!! 人生苦短,山东数十萌新变身高富帅的梦想,你可以复制! 是时候换个壁纸啦! 展示一张天依小可爱的壁纸 前提准备 本次我们要爬取的网站是彼岸图网,网址...

2020-02-01 23:50:08

阅读数 106

评论数 0

原创 redis数据库优化高级操作

搞定Redis高级特性与性能调优 kelgonJAVA乐园2019-03-26 阅读文本大概需要15分钟。 本文适合使用 Redis 的普通开发人员,以及对 Redis 进行选型、架构设计和性能调优的架构设计人员: Redis 的数据结构和相关常用命令 数据持久化 ...

2020-02-01 23:49:48

阅读数 86

评论数 0

原创 这几个库不会,都不敢说我会 Python 爬虫

这几个库不会,都不敢说我会 Python 爬虫 AirPython5天前 以下文章来源于JAVAandPython君,作者JAP君 JAVAandPython君 专注于Python和JAVA的技术平台。分享JAVA和Python相关的原创技术文章、工具资源、精选课程、优质资源、热点资讯...

2020-01-23 21:13:45

阅读数 63

评论数 0

原创 利用Python查出完整的身份证号码!

利用Python查出完整的身份证号码! Hack1周前 以下文章来源于凹凸玩数据,作者朱小五 凹凸玩数据 数据爬取-分析-可视化“一条龙”! 为了一杯奶茶。 事情的经过是这样的: 我的同事李大伟最近出差去了。 昨晚睡觉前翻了翻朋友圈, 就跟他愉快地互怼交流...

2020-01-23 21:13:32

阅读数 14

评论数 0

原创 (经验分享)作为一名普通本科计算机专业学生,我大学四年到底走了多少弯路

今年正式步入了大四,离毕业也只剩半年多的时间,回想一下大学四年,感觉自己走了不少弯路,今天就来分享一下自己大学的学习经历,也希望其他人能不要走我走错的路。 (一)初进校园 刚进入大学的时候自己完全就相信了高中老师的话:“进入大学你们就轻松了”。因此在大一的时候自己学习的激情早就被抛地一干二净,...

2020-01-23 21:12:16

阅读数 167

评论数 0

原创 20行Python代码爬取王者荣耀全英雄皮肤

引言 王者荣耀大家都玩过吧,没玩过的也应该听说过,作为时下最火的手机MOBA游戏,咳咳,好像跑题了。我们今天的重点是爬取王者荣耀所有英雄的所有皮肤,而且仅仅使用20行Python代码即可完成。 准备工作 爬取皮肤本身并不难,难点在于分析,我们首先得得到皮肤图片的url地址,话不多说,我们马上来到...

2020-01-23 21:11:41

阅读数 43

评论数 0

提示
确定要删除当前文章?
取消 删除