自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 社工查询网站

shodan https://www.shodan.io/ zoomeye https://www.zoomeye.org/ censys https://censys.io/ pipl https://pipl.com/ reg007 https://www.reg007.c...

2019-06-14 22:40:02 10613 0

原创 Ada学习笔记

- 注释 ; 语句终止符 with 指定库 use 使用clause generic 定义通用类型 package ... is 定义包(类) procedure ... is 定义过程(函数的行为,无返回值) function ... return 定义函数(有返回值) begin 过程开始 e...

2019-06-14 18:24:38 363 0

转载 32个爬虫项目

WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口,可以扩展成基于搜狗搜索的爬虫,返回结果是列表,每一项均是公众号具体信息字典。 DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书,按评分排名依次存储,存储到Excel中,可方便...

2019-06-11 10:24:40 85 0

原创 cuckoo-droid安装详解

默认已安装cuckoo1.2版本VMware14.1.3 如未安装,请参考cuckoo安装流程 环境: VMware14.1.3 host: Ubuntu16.04 guest: Ubuntu16.04 ********************************************...

2019-05-29 17:56:37 546 2

原创 无法打开Android模拟器:libGL error

错误信息: libGL error: unable to load driver: swrast_dri.so libGL error: failed to load driver: swrast X Error of failed request: GLXBadContext Majo...

2019-05-29 16:41:40 75 0

原创 cuckoo1.2安装详解

本文仅安装说明,安装过程中如遇问题请参考另一篇cuckoo避坑指南 环境: VMware14.1.3 host: Ubuntu16.04 guest: xp ****************************************host安装配置********************...

2019-05-28 18:28:11 330 0

原创 cuckoo及cuckoo-droid安装过程中遇到的坑

此篇只记录安装过程中遇到的坑,具体安装过程参考另一篇cuckoo安装流程 cuckoo:(1.2版本) ------------------------------------------------------------------- ###安装时不要使用root权限 -----------...

2019-05-28 14:18:09 528 0

原创 python setup.py build 编译错误

1 fatal error: Python.h: 原因:没有安装python的开发环境以及开发包 解决:sudo apt-get install python-dev 2fatal error: fuzzy.h 原因:头文件丢失,通常为缺少对应的开发包 解决:sudo apt insta...

2019-05-22 16:50:06 2010 1

原创 pip错误 ImportError: No module named _internal

2.x: curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py python2.7 get-pip.py --force-reinstall 如果上述方法未能解决,尝试以下方法 python2 -m pip install --u...

2019-05-09 11:41:44 772 0

原创 python3-cookbook 学习笔记(一)

一、数据结构与算法 序列操作: 序列解包占位符:_ 占位需要丢弃的值 解包可迭代对象:* 产生一个列表对象,解压不确定个数或任意个数的可迭代对象时使用 想要解压后丢弃的值可使用*_或*ign(ignore) 命名切片: slice() 创建切片对象 属性:sta...

2019-04-30 14:55:13 90 0

原创 整理了一些工作(学习)中用到的python包

爬虫 requests HTTP客户端库 urllib 处理url selenium 提供所有WebDriver的实现 beautifulsoup 从web页面获取信息 lxml 解析html和xml,支持xpath解析 数据(数据分析/机器学习/自然语言处理/数据可视化...) ke...

2019-04-30 14:52:36 177 0

原创 python写的一些小功能合集(持续更新ing)

获取字典中的objkey对应的值,适用于字典嵌套 # dict:字典 # objkey:目标key # default:找不到时返回的默认值 def dict_get(dict, objkey, default): for k, v in dict.items(): i...

2019-04-30 14:19:47 110 0

原创 python:ImportError: No module named 'setuptools'

两种方法安装setuptools: ===1=== Python 2.x: sudo apt-get install python-setuptools Python 3.x: sudo apt-get install python3-setuptools 如果安装后出现以下错误:Att...

2019-04-26 10:29:30 11661 1

转载 transformer模型原理

原文链接:http://jalammar.github.io/illustrated-transformer/   高级外观 让我们首先将模型看作一个黑盒子。在机器翻译应用程序中,它将使用一种语言的句子,并将其翻译输出到另一种语言中。 弹出Optimus Prime的优点,我们看到了编...

2019-02-19 15:52:49 1683 0

转载 Docker核心技术与实现原理

提到虚拟化技术,我们首先想到的一定是 Docker,经过四年的快速发展 Docker 已经成为了很多公司的标配,也不再是一个只能在开发阶段使用的玩具了。作为在生产环境中广泛应用的产品,Docker 有着非常成熟的社区以及大量的使用者,代码库中的内容也变得非常庞大。 同样,由于项目的发展、功能...

2019-02-01 15:27:30 118 0

原创 linux常见问题

设置时区: timedatectl set-timezone "Asia/Shanghai" 快捷键无法打开终端(ctrl+shift+F1): sudo apt-get -f install (修复安装) 快捷键无法打开命令行(ctrl+shift+T): sudo ...

2019-01-24 15:27:20 117 0

原创 Python虚拟环境--virtualenv

安装 pip install virtualenv 使用: 创建一个虚拟环境: cd my_project_dir virtualenv venv  #venv为虚拟环境目录名,目录名自定义   virtualenv venv 将会在当前的目录中创建一个文件夹,包含了Python...

2019-01-23 13:09:25 68 0

原创 xpath中extract()使用

title = response.xpath("//div[@class='entry-header']/h1/text()") title = response.xpath("//div[@class='entry-header�...

2018-12-02 14:36:45 2920 0

原创 Redis持久化配置

进入配置文件:sudo redis-server /配置文件的路径/redis.conf   1 rbd快照 优点:rdb是数据的内存映射,直接载入到内存,所以速度比较快 缺点:如果出现异常宕机,数据丢失率高 配置如下: save 900 1 // 900内,有1条写入,则...

2018-11-12 09:21:02 88 0

转载 数学符号及读法大全

常用数学输入符号: ≈ ≡ ≠ = ≤≥ < > ≮ ≯ ∷ ± + - × ÷ / ∫ ∮ ∝ ∞ ∧ ∨ ∑ ∏ ∪ ∩ ∈ ∵ ∴  ⊥ ‖ ∠ ⌒  ≌ ∽ √  () 【】{} Ⅰ Ⅱ ⊕ ⊙∥α β γ δ ε ζ η θ Δ 大写 小写 ...

2018-11-11 09:52:25 72751 4

原创 python实现栈在 O(1) 时间内求 min

python的栈是用list实现的,只要将list的append和pop封装到stack类中,即实现了压栈和退栈。如果不考虑时间复杂度可以使用min(),min()可以在不开辟新空间的情况下o(n)的返回栈内最小值。但是如果栈内元素很多,需要被频繁调用返回函数,导致耗时大,为了降低时间复杂度,最理...

2018-11-10 09:52:09 409 0

原创 Django常用配置

MySQL数据库 DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': '...

2018-10-31 12:53:36 85 0

原创 sklearn DecisionTree原理及实例

决策树 原理:树,信息增益

2018-10-20 15:02:41 1200 0

原创 scikit-learn LogisticRegression原理及实例

Attibutes coef_ : 变量中的系数。shape (1, n_features) or (n_classes, n_features) intercept_ :截距。shape (1,) or (n_classes,) n_iter_ :所有类的实际迭代次数。shape (n_cla...

2018-10-20 11:23:35 1939 0

原创 scikit-learn fetch_olivetti_faces人脸识别实例

分别使用线性回归,岭回归,KNN,以及ExtraTrees回归进行分析 from sklearn.linear_model import LinearRegression,Ridge from sklearn.neighbors import KNeighborsRegressor from sk...

2018-10-19 21:30:21 1906 2

原创 scikit-learn 线性回归 原理与使用

一、 普通线性回归 数学依据:最小二乘法 (y - w*x)^2 y^2 - 2*w*x*y + x^2*w^2 -2xy + 2x^2*w = 0 -y + wx = 0 xw = y xTxw = xTy # 两边乘以xT 转置矩阵 w = (xTx)^-1(xTy)...

2018-10-19 20:27:55 208 0

原创 scikit-learn K-近邻算法(KNN)

k-近邻算法原理:采用测量不同特征值之间的距离方法进行分类。 优点:精度高、对异常值不敏感、无数据输入假定。 缺点:时间复杂度高、空间复杂度高。 适用数据范围:数值型和标称型。   工作原理:存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据...

2018-10-17 18:18:56 798 0

原创 python Panads

Panads是基于NumPy的一种工具,该工具是为了解决数据分析任务而创建的,其纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具,Panads的数据类型包含Series、DataFrame和Panel. 本文主要介绍Series和DataFrame类型的基本使用方法。 ...

2018-10-14 18:14:32 270 0

原创 Scrapy运行流程

Scrapy组件: * 引擎【Engine】:处理整个系统的数据流处理 触发事务 * 调度器【Scheduler】:接收Engine发来的请求并压入队列,在请求时执行出队 * 下载器【Downloader】:通过Engine拿到调度器出队的URL执行下载操作,并将response返回给Spide...

2018-10-12 21:42:44 661 0

原创 python NumPy

NumPy中数据类型包含array(数组)、matrix(矩阵)和character(字符串数组)。array类旨在成为用于多种数值计算的通用n维数组,matrix类则专门用于促进线性代数计算,而chararray类的存在是为了向后兼容Numarray(不建议用于新开发)。 本文主要介绍arra...

2018-10-11 20:00:29 117 0

原创 RESTful API开发

REST全称是Representational State Transfer,中文意思是表征性状态转移。RESTful是指具有REST表征的web架构风格,并非必须遵守的规则。 REST分离了API的结构和逻辑,主要应用于客户端和服务器交互类的软件。基于这种风格设计的软件更加简洁,更有层次,更易...

2018-09-26 18:50:43 537 0

原创 常用正则表达式

单字符匹配: [] :匹配 []中包含的单个字符 \d :匹配数字字符 相当于[0-9] \D : 除了\d以外所有字符 \s : 匹配所有的空白字符 例如:\t \n 空格等 \S :除了\s以外所有字符 \w :匹配数字、字母、下划线、中文 相当于[0-9a-zA-Z_] \W...

2018-09-25 21:35:34 40 0

原创 python urllib库基本使用

urllib是python提供的一个爬虫的原生框架,python发起网络请求都是通过该框架   1 request.urlopen(url)  打开远程连接     返回值是一个响应对象,响应对象包含响应头和响应体 【注意】urlopen()这个函数只能用于发送简单的请求,无法添加请求头,添...

2018-09-20 15:52:21 424 0

原创 python BeautifulSoup

对象的种类:Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag 、NavigableString 、BeautifulSoup、Comment 。 1 Tag:Tag 对象与XML或HTML原生文档中的tag相同...

2018-09-19 20:32:09 250 0

转载 Session机制详解

虽然session机制在web应用程序中被采用已经很长时间了,但是仍然有很多人不清楚session机制的本质,以至不能正确的应用这一技术。本文将详细讨论session的工作机制并且对在Java web application中应用session机制时常见的问题作出解答。    一、术语sessio...

2018-09-08 13:08:15 114 0

原创 MySQL、Redis、Mongodb的安装与配置

MySQL ​安装: sudo apt-get install mysql-server sudo apt isntall mysql-client sudo apt install libmysqlclient-dev   安装后可通过以下命令测试是否安装成功: sudo nets...

2018-09-04 20:23:41 364 0

转载 Python的22个编程技巧

1. 原地交换两个数字 Python 提供了一个直观的在一行代码中赋值与交换(变量值)的方法,请参见下面的示例: x,y= 10,20 print(x,y) # (10, 20) x,y= y,x print(x,y) # (20, 10) 赋值的右侧形成了一个新的元组,左侧...

2018-09-03 23:00:33 83 0

提示
确定要删除当前文章?
取消 删除