编程语言
文章平均质量分 97
七块的学习笔记
坚持一点点
展开
-
黑马python2.7的爬虫4-Scrapy框架
期末考试了,出差,不晓得有没有时间写哦,先开个头原创 2018-06-10 18:36:12 · 522 阅读 · 0 评论 -
Python爬虫黑科技(经验)
"作为一名爬虫工程师,你最需要关注的,是数据的来源"原文:https://www.jb51.net/article/90114.htm霍夫曼编码压缩算法1.最基本的抓站import urllib2content = urllib2.urlopen('http://XXXX').read()2.使用代理服务器这在某些情况下比较有用,比如IP被封了,或者比如IP访问的次数受...转载 2018-06-10 10:48:42 · 4381 阅读 · 3 评论 -
黑马python2.7的爬虫3- 动态HTML处理和机器图像识别
关于爬虫部分一些建议:尽量减少请求次数,能抓列表页就不抓详情页,减轻服务器压力,程序员都是混口饭吃不容易。不要只看 Web 网站,还有手机 App 和 H5,这样的反爬虫措施一般比较少。实际应用时候,一般防守方做到根据 IP 限制频次就结束了,除非很核心的数据,不会再进行更多的验证,毕竟成本的问题会考虑到。(代理ip)如果真的对性能要求很高,可以考虑多线程(一些成熟的框架如 Scrapy都已支持)...原创 2018-06-10 10:31:59 · 347 阅读 · 0 评论 -
黑马python2.7的爬虫2-非结构化数据与结构化数据提取
非结构化数据与结构化数据提取原创 2018-06-09 16:39:20 · 3373 阅读 · 0 评论 -
黑马python2.7的爬虫1- 爬虫原理与数据抓取
1、使用的IDE和编辑器IDE:PyCharm 、 Visual Studio编辑器:Vim 、Sublime Text等抓包工具:fiddler python需要导入各种各样强大的库教程基于python2.7版本的2、Python爬虫,我们需要学习的有1. Python基础语法学习(基础知识)2. HTML页面的内容抓取(数据抓取)3. HTML页面的数据提取(数据清洗)4. Scrapy框架以...原创 2018-06-09 16:35:47 · 1435 阅读 · 0 评论 -
网络安全-信息收集专题
渗透测试:渗透测试,是为了证明网络防御按照预期计划正常运行而提供的一种机制。不妨假设,你的公司定期更新安全策略和程序,时时给系统打补丁,并采用了漏洞扫描器等工具,以确保所有补丁都已打上。如果你早已做到了这些,为什么还要请外方进行审查或渗透测试呢?因为,渗透测试能够独立地检查你的网络策略,换句话说,就是给你的系统安了一双眼睛。而且,进行这类测试的,都是寻找网络系统安全漏洞的专业人士。 ...原创 2018-06-22 23:08:14 · 3643 阅读 · 0 评论 -
大鹏教你python数据分析
出差中…………,换pc了,没有开发环境,看看其他口味的课程 数据工作流抛出问题——数据——数据研究——问题结论——解决方案用py用py来分析数据,结合很多包,py类比手机,安装不同app就是安装不同的包知道2神器,火车头,Gephi。数据采集与分析火车头简单教程:A、网址识别 (*)强大的变量,和bs4一样,唯一定位即可原理:超链接 ...原创 2018-06-13 14:09:02 · 1222 阅读 · 0 评论 -
菜鸟AJAX 教程和JSON
哈哈,以前学前端学过,那时不会后台,没搞明白,现在再学试试看。AJAX 读法:误[啊,贾克斯】,正确读法[ˈeˌdʒæks] 平a贾克斯AJAX = Asynchronous JavaScript and XML(异步的 JavaScript 和 XML)。AJAX 最大的优点是在不重新加载整个页面的情况下,可以与服务器交换数据并更新部分网页内容。AJAX 是一种在无需重新加载整...原创 2018-05-29 23:23:17 · 1683 阅读 · 0 评论 -
python进阶题
反正我面试遇到过部分,先总结下:1、单引号,双引号,三引号的区别分别阐述3种引号用的场景和区别比如:单引号:’python’双引号:”python”2).三引号三单引号:”’python ”’,也可以表示字符串一般用来输入多行文本,或者用于大段的注释三双引号:”””python”””,一般用在类里面,用来注释类,这样省的写文档,直接用类的对象__doc__访问获得文档区别:若你的字符串里面本身包含...原创 2018-04-28 20:14:31 · 2097 阅读 · 0 评论 -
[区块链技术] 吐血推荐!区块链从入门到放弃(区块链入门汇总整理)转
想要提高学习效率,第一个条件就是:目标导向。一个完整的入门整理帖 如何学习区块链技术? 免费视频教程 科技------生产力 VS 区块链----生产关系,不要中介, 提出了一种不需要信用中介的电子支付系统。(银行,支付宝),去中心化以及安全性,这很有可能淘汰传统的中介机构,甚至对互联网进行大的改造术语介绍:比...转载 2018-04-11 22:44:41 · 830 阅读 · 0 评论 -
Python-面向对象
面向对象(OOP):基本单元:对象 封装数据与功能 具有良好复用性、灵活性、扩展性两个基本概念:类、对象 基本要素:属性(信息)、方法 特性:继承(单,多)、多态、封装性同一类人对同一个问题有不同的看法,这个就是多态class ClassName:构造函数:def __init__(self,...) #魔术方法格式def__方法名__(self)析构函数:(销毁...原创 2018-02-25 22:49:29 · 181 阅读 · 0 评论 -
大数据基础——统计学
统计基础知识平均数 中位数中间(a+b)/2 众数aaa极差max-min,差距大分的开 中程数(max+min)/2象形统计 图片显示数据条形图 直观,对比,归类线形图 看趋势(起点小心坑,非0)饼图 看比例,占有率茎叶图 共用十位,篮球比赛球员计分,看分布情况箱线图 1 2 2 3 21 作用识别异常值。数据清洗中,作用很大看中位数,中位数分隔,接着中位数分隔...原创 2018-07-09 11:43:43 · 5675 阅读 · 0 评论 -
Python操作三大主流库
核心:学会看文档,百度,英文也得硬着头皮看关系型:1、MySQL (类似excel)2、SQL Server:SQL Server是由微软开发的数据库管理系统,是Web上最流行的用于存储数据的数据库,它已广泛用于电子商务、银行、保险、电力等与数据库有关的行业。目前最新版本是SQL Server 2005,它只能在Windows上运行,操作系统的系统稳定性对数据库十分重要。3、O...原创 2018-07-16 22:53:38 · 2857 阅读 · 1 评论 -
计算机中字符集和及python3编码
祖先:ASCII 美国制定了一套字符编码,对英语字符与二进制位之间的关系,做了统一规定。这被称为 ASCII 码。ASCII 码一共规定了128个字符的编码,大写的字母A是65。不够,出现了其他编码GB2312中国人民通过对 ASCII 编码的中文扩充改造,产生了 GB2312 编码,可以表示6000多个常用汉字。汉字实在太多了,还有繁体、各种字符呀,于是加以扩展,有了GB...原创 2018-03-27 16:29:47 · 232 阅读 · 0 评论 -
HTTP协议向服务器传参有几种途径?
利用HTTP协议向服务器传参有几种途径?查询字符串(query string),形如key1=value1&key2=value2; 请求体(body)中发送的数据,比如表单数据、json、xml; 提取uri的特定部分,如/blogs/2016/09/0001,可以在服务器端的路由中用正则表达式截取; 在http报文的头(header)中增加自定义字段,如X-XSRFToken...原创 2018-11-30 15:55:49 · 989 阅读 · 0 评论 -
Python遇到过得text和text()
1、BeautifulSoup中的.text方法和get_text()方法的区别如果你想要用text值,应该调用对应的get_text(),'cate': list(cate.stripped_strings) obj.stripped_strings:高级的get_text() ,外面加list可以列表化soup.title# <title>The D...原创 2018-09-27 15:46:10 · 18165 阅读 · 0 评论 -
Python yield 使用浅析-生成器
# 通过`yield`来创建生成器def func(): for i in range(10): yield i>>> f # 此时生成器还没有运行<generator object func at 0x7fe01a853820>>>> f.__next__() # 当i=0时,遇到yield关键字,直接返回0&g...转载 2018-09-26 12:41:16 · 243 阅读 · 0 评论 -
正则表达式中零宽断言的用法
原文:静觅 » 正则表达式中零宽断言的用法#coding=utf-8import retext='''问:我用的是Windows XP+Service Pack 2,为什么无法安装输入卡号和密码的控件? 答:在Windows XP+Service Pack 2、Windows 2003等操作系统中,用户可以自己选择是否安装控件。 问:为什么我看到的卡号输入框显示为*符号? 答:...转载 2018-09-25 11:01:02 · 645 阅读 · 0 评论 -
读书:python核心编程第三版笔记
message = 'It was a bright cold day in April, and the clocks were striking thirteen.'count = {}for character in message: count.setdefault(character, 0) count[character] = count[character] +...原创 2018-08-28 17:51:09 · 691 阅读 · 0 评论 -
Python3爬虫三大案例实战分享之Selenium+Chrome/Headless Chrome
知识点:高人:selenium+headless chrome爬虫 爬虫的代码有一点需要注意,需要操作事件的时候最好不要直接用相应的方法,比如click。最好嵌入js脚本的方式进行调用。因为爬虫的代码执行速度很快,前端元素结构往往反应不过来,从而找出元素不可见或者不存在的错误。province_items = DRIVER.find_element_by_class_name("c...原创 2018-08-30 20:47:57 · 1977 阅读 · 1 评论 -
在知乎复制的文本为什么会自带一些版权声明,这个功能是如何实现的?
https://segmentfault.com/q/1010000003986612原文大体思路:答案区域监听copy事件,并阻止这个事件的默认行为。获取选中的内容(window.getSelection())加上版权信息,然后设置到剪切板(clipboardData.setData())。一个简单的DEMO 测试发现点击信息就有了,非复制就实现。<!DOCTYPE html>...转载 2018-03-01 23:24:48 · 2738 阅读 · 3 评论 -
实验楼
腾讯云在线实验室大致分成四个步骤:理论基础、代码阅读、动手实践、开源项目。IT 工程师也会按照所选择的技术领域分成了很多职位,目前主流的分类方法可以分为:研发、测试、运维、DBA 几个大类,研发工程师又可以分成Java、C++、PHP、Hadoop、Web 前端、Android、iOS 等细分的职位,同样测试可以分为:测试工程师、测试开发等,我们可以去各大招聘网站上查询更多更详细的职位。命令行解释...转载 2018-02-12 21:12:54 · 678 阅读 · 0 评论 -
微信小程序入门
小程序目标,杀死一切app(好装逼的感觉),大部分功能能代替微信的4大号•订阅号•服务号•企业号•应用号(小程序)微信小程序技术点•并不是HTML5/CSS3技术实现(用户体验不好,好卡)•抛弃了臃肿的WebView•采用了JavaScriptCore动态解析•大量借鉴React.js +ReactNative.js思想基础知识:•HTML/CSS•JavaScript/ES6•懂一些iOS/An...原创 2018-02-13 09:31:27 · 253 阅读 · 0 评论 -
python数据类型详解
目录1、字符串2、布尔类型3、整数4、浮点数5、数字6、列表7、元组8、字典9、日期1、字符串1.1、如何在Python中使用字符串a、使用单引号(')例如:str='this is string';b、使用双引号(")双引号中的字符串与单引号中的字符串用法完全相同:str="this is string";c、使用三原创 2017-12-27 06:24:16 · 221 阅读 · 0 评论 -
python高级:列表解析和生成表达式
列表解析式 在需要改变列表而不是需要新建某列表时,可以使用列表解析无返回值>>> L= [(x+1,y+1) for x in range(3) for y in range(5)] >>> L [(1, 1), (1, 2), (1, 3), (1, 4), (1, 5), (2, 1), (2, 2), (2, 3), (2, 4), (2, 5), (3, 1), (3, 2)原创 2017-12-26 21:40:42 · 1013 阅读 · 0 评论 -
实战:python爬虫经典小案例汇总
所有实例代码github地址准备工作学习目的爬取网站或者应用内容,提取有用信息并且简单整理开始最好模仿,不要自己写,错了找不到原因实现手段模拟浏览器或者App应用操作应用:抢票,投票,报告分析,饮食地图,舆情监控保存数据的方法大概可以分为几类:保存文本、保存二进制文件(包括图片)、保存到数据库爬虫1.首先是获取目标页面 2.解析获取的网页中的元素,唯一定位,取得自己想要的(借助各种库工具,分析页面...原创 2017-10-28 08:35:03 · 23691 阅读 · 0 评论 -
redis教程(python)
优点:高可扩展性分布式计算低成本架构的灵活性,半结构化数据没有复杂的关系缺点:没有标准化有限的查询功能(到目前为止)最终一致是不直观的程序原创 2017-10-31 21:44:19 · 690 阅读 · 0 评论 -
慕课-Web前端工程师成长第一阶段(基础篇)
第一步 了解HTML和CSSdiv写注释很重要,不然找不到 表示强调, 表示更强烈的强调。并且在浏览器中 默认用斜体表示, 用粗体表示。两个标签相比,目前国内前端程序员更喜欢使用表示强调。用来引用简短的文本用来引用长文本nb(牛逼)sp(space) 好牛逼的空格! 标签和标签一样也是一个空标签,所以只有原创 2017-11-13 13:40:37 · 1375 阅读 · 0 评论 -
给网站添加鼠标点击弹出指定汉字特效
1.将 JS 代码添加到页脚的 标签前面2.Array("天真","富强", "民主", "文明", "和谐", "自由", "平等", "公正" ,"法治", "爱国", "敬业", "诚信", "友善")里面的汉字可以随便修改组合,也可转载 2017-10-15 13:10:28 · 428 阅读 · 0 评论 -
网页布局基础
一列固定,宽高固定,margin:0 auto一列自适应,高固定,宽百分比80%,margin:0 auto;二列居中固定,一列固定里加2div,设置宽高二列自适应,百分比20%,80%二列居中自适应,外边大div设置百分比,margin:0 auto 三列左右固定:2边固定宽and absolute 0 0 定位,中间margin: 0 100px(每边宽度)三列原创 2017-10-29 20:44:08 · 386 阅读 · 0 评论 -
python面向对象实战应用:打飞机
用Python和Pygame写游戏-从入门到精通(1)主要过程:搭建界面键盘检测显示控制飞机 过程显示控制飞机 对象玩家发射子弹优化代码敌人机器移动敌人机器发射子弹代码优化,抽象基类各自类:#coding=utf-8import pygamefrom pygame.locals import *import timeimport randomclass HeroPlane(object...原创 2017-12-30 11:36:48 · 1153 阅读 · 0 评论 -
数据结构与算法(python)
数据结构学会更有思路,效率,节约开销算法实现的语言并不重要,重要的是思想,算法是独立存在的一种解决问题的方法和思想算法的五大特性输入: 算法具有0个或多个输入输出: 算法至少有1个或多个输出有穷性: 算法在有限的步骤之后会自动结束而不会无限循环,并且每一个步骤可以在可接受的时间内完成确定性:算法中的每一步都有确定的含义,不会出现二义性可行性:算法的每一步都是可行的,也就是说每一步都能够执行有限的次...原创 2017-10-31 21:13:58 · 905 阅读 · 0 评论 -
Python人工智能常用库Numpy and Jupyter notebook 使用入门
Python人工智能常用库Numpy使用入门 初学python者自学anaconda的正确姿势是什么??简介:人工智能的很多方关于数据的操作,机器学习,深度学习,大数据,数据分析等,或多或少都会用到numpy这一python工具库。从搭建环境开始,从anaconda,jupyter notebook,再到课程重点numpy工具库的使用。简单来说,Anaconda是包管理器和环境管理器...原创 2018-02-25 22:00:09 · 3502 阅读 · 0 评论 -
慕课:Django入门与实践
Django是python web的开发框架Django个人网站,从开发到部署总结Django 中文文档目标:学习并掌握Django框架MVCMVC框架的核心思想是:解耦 设计高度拓展,向后兼容,低耦合,高内聚(电脑零件模块类比)降低各功能模块之间的耦合性,方便变更,更容易重构代码,最大程度上实现代码的重用MVT概要Django 无需数据库就可以使用,它提供了 对象关系映射器 通过此技术,...原创 2017-12-09 13:09:25 · 1675 阅读 · 0 评论 -
大牛博客滴python3总结
前言:python编写非常简洁 第一行注释是为了告诉Linux/OS X系统,这是一个Python可执行程序,Windows系统会忽略这个注释;CPython用>>>作为提示符,而IPython用In [序号]:作为提示符。print()函数也可以接受多个字符串,用逗号“,”隔开,就可以连成一串输出 输入: /除法计算结果是浮点数,即使是两个整数恰好整除,结...转载 2017-10-14 16:46:50 · 1035 阅读 · 0 评论 -
python之lambda、filter、map、reduce、zip函数(图文)
学习条件运算时,对于简单的 if else 语句,可以使用三元运算来表示 : # 普通条件语句if a == 1: name = 'wupeiqi'else: name = 'alex'# 三元运算name = 'wupeiqi' if a == 1 else 'alex' 2.对于简单的函数,也存在一种简便的表示方式,即:lambda表达式...转载 2017-10-15 10:04:22 · 290 阅读 · 0 评论 -
黑马程序员--python高级编程
第二部分:高级进阶Python开发的10个小贴士传值传参数笔试题def extendList(val,list=[]): list.append(val) return listlist1=extendList(10)list2=extendList(123,['a','b','c'])list3=extendList('a')print(list1)pri...原创 2017-10-15 16:06:19 · 2704 阅读 · 0 评论 -
黑马程序员05-Web前端学习笔记
部分资源地址 绿叶学习网前端开发系统化学习,包括html、css、PC端及移动端布局技巧、javascript、jquery、js特效制作、ajax前后台交互等。HTML一个HTML文档由4个基本部分组成:① 一个文档声明:② 一个html标签对:③ 一个head标签对:④ 一个body标签对:html5是向下兼容的文档,用sublime text创建方法: h原创 2017-10-24 10:41:36 · 4048 阅读 · 0 评论 -
Python基础知识
学习一定要完整课程体系,要在linux下编程编程技巧 定义函数先做什么 定义函数再做什么 最后做什么 要干什么(调用函数)推动不下去逆着推 输出先写特殊情况,再加工,如找出特殊,再写循环...原创 2017-10-10 19:03:51 · 1855 阅读 · 0 评论 -
基于BeautifulSoup的Python3实战:四周实现爬虫系统笔记
章节1 第零周:开始之前勤快写,多动手,不浮躁,坚持坚持坚持。-----慢慢来,做完美科学上网 好的IDE 工具 理解 模仿 实战画流程图,添加异常处理几种爬虫比较urllib+正则:无第三方依赖 requests+BeautifulSoup:library scrapy:框架从上往下抽象程度增加,方便程度增加。“路怎么走,自己选。”bs4官网基础知识tag中包含...原创 2017-12-18 10:25:41 · 4391 阅读 · 1 评论