- 博客(45)
- 收藏
- 关注
RSS订阅原创 jupyter_notebook的使用
文章目录运行Jupyter NotebookTab补全自省%run命令中断运行的代码从剪贴板执行程序键盘快捷键魔术命令集成Matplotlib运行Jupyter Notebooknotebook是Jupyter项目的重要组件之一，它是一个代码、文本（有标记或无标记）、数据可视化或其它输出的交互式文档。Jupyter Notebook需要与内核互动，内核是Jupyter与其它编程语言的交互编程协...
2019-11-12 10:19:25
882
原创 数据分析常用库简介
文章目录重要的Python库NumPypandasmatplotlibIPython和JupyterSciPyscikit-learnstatsmodels安装和设置WindowsApple \(OS X, macOS\)GNU/Linux安装或升级Python包集成开发环境（IDEs）和文本编辑器重要的Python库考虑到那些还不太了解Python科学计算生态系统和库的读者，下面先对各个库做...
2019-11-12 10:17:47
1168
原创 NumPy基础：数组和矢量计算
文章目录4.1 NumPy的ndarray：一种多维数组对象创建ndarrayndarray的数据类型NumPy数组的运算基本的索引和切片切片索引布尔型索引花式索引数组转置和轴对换4.2 通用函数：快速的元素级数组函数4.3 利用数组进行数据处理将条件逻辑表述为数组运算数学和统计方法用于布尔型数组的方法排序唯一化以及其它的集合逻辑4.4 用于数组的文件输入输出4.5 线性代数4.6 伪随机数生成4...
2019-11-12 10:16:38
629
1
原创 NumPy高级应用
文章目录A.1 ndarray对象的内部机理NumPy数据类型体系A.2 高级数组操作数组重塑C和Fortran顺序数组的合并和拆分堆叠辅助类：r_和c_元素的重复操作：tile和repeat花式索引的等价函数：take和putA.3 广播沿其它轴向广播通过广播设置数组的值A.4 ufunc高级应用ufunc实例方法编写新的ufuncA.5 结构化和记录式数组嵌套dtype和多维字段为什么要用结构...
2019-11-12 10:14:09
396
原创 爬虫中Scrapy和Scrapy-redis的区别
文章目录Scrapy-redisScrapy 和 scrapy-redis的区别scrapy-redis架构`Scheduler`：`Duplication Filter``Item Pipeline`：`Base Spider`总结dupefilter.pypicklecompat.pypipelines.pyqueue.pyscheduler.pyspider.py从零搭建Redis-Scra...
2019-10-25 17:05:16
482
原创 列表生成式
前言python里面[]表示一个列表，快速生成一个列表可以用range()函数来生成。对列表里面的数据进行运算和操作，生成新的列表最高效快速的办法，那就是列表生成式了。range()一个连续的数字类型列表，比如[1, 2, 3, 4, 5, 6, 7, 8, 9, 10],可以用range生成########python2.7##########>>> b=range...
2019-10-25 17:03:26
388
原创 爬虫中的Scrapy框架
文章目录Scrapy 框架Scrapy架构图(绿线是数据流向)：Scrapy的运作流程Scrapy的安装介绍Windows 安装方式Ubuntu 需要9.10或以上版本安装方式入门案例学习目标一. 新建项目(scrapy startproject)二、明确目标(mySpider/items.py)三、制作爬虫 （spiders/new_chang.py）1. 爬数据2. 取数据3.保存数据Scra...
2019-10-25 17:02:40
430
原创 爬虫中的Selenium使用
文章目录SeleniumPhantomJS快速入门将chromedriver安装好后页面操作定位UI元素 (WebElements)鼠标动作链填充表单弹窗处理页面切换页面前进和后退Cookies页面等待显式等待隐式等待SeleniumSelenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以...
2019-10-25 16:49:25
150
原创 MongoDB的安装与使用
文章目录MongoDB的安装与使用服务端MongoDB 默认的存储数据目录为 /data/db，默认端口27017启动注意事项：1. 首次启动：2. 再次启动：**注意：这里的三个Warning并非必须处理，大家了解即可：**Warning 1：Warning 2：Warning 3：3. 再再次启动：客户端MongoDB的安装与使用下载mongodb的版本，两点注意根据业界规则，偶数为...
2019-09-27 10:11:47
71
原创 数据库
文章目录一、什么是数据库？二、为什么要用数据库？1. 如果数据保存到内存里：2. 如果数据保存到文件系统里：3. 如果数据保存到数据库里：千言万语一句话：方便、效率、安全三、地球上有哪些数据库？1. 关系型数据库 (RDBMS)根据这种情况，NoSQL技术应运而生。2. 非关系型数据库 (NoSQL)3. SQL+NoSQL : NewSQL四、涉及数据库的工作一、什么是数据库？一般一个数据...
2019-09-27 09:54:55
112
原创 爬虫中的lxml库
文章目录lxml库初步使用文件读取：XPath实例测试lxml库lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息。lxml python 官方文档：http://lxml.de...
2019-09-24 09:42:03
101
原创 爬虫中的页面解析和数据处理
文章目录什么是XMLXML 和 HTML 的区别XML文档示例HTML DOM 模型示例XML的节点关系1. 父（Parent）子（Children）3. 同胞（Sibling）4. 先辈（Ancestor）5. 后代（Descendant）什么是XPath？XPath 开发工具选取节点谓语（Predicates）选取未知节点选取若干路径XPath的运算符lxml库正则用的不好，处理HTML文档...
2019-09-24 09:37:02
1280
原创 Python中requests的应用
文章目录Requests: 让 HTTP 服务人类安装方式基本GET请求（headers参数 和 parmas参数）基本POST请求（data参数）代理（proxies参数）私密代理验证（特定格式）Cookies 和 SessionCookiesSession案例：实现人人网登录处理HTTPS请求 SSL证书验证Requests: 让 HTTP 服务人类虽然Python的标准库中 urllib...
2019-09-24 09:35:04
158
原创 Python中浏览器处理页面的过程
文章目录（一）浏览器处理网页的过程：名词注解：1. URL2. DNS3. HTTP和HTTPS（二）HTTP的请求与响应客户端HTTP请求一个典型的HTTP请求示例请求方法HTTP请求主要分为`Get`和`Post`两类：（三）常用的请求报头1. Host (主机和端口号)2. Connection (连接类型)3. Upgrade-Insecure-Requests (升级为HTTPS请求)4...
2019-09-24 09:25:58
265
原创 Python中urllib和urllib2库的使用
文章目录urllib和urllib2库的基本使用urlopenRequestUser-Agent添加更多的Header信息URL编码转换urllib和urllib2的高级用法Handler处理器 和 自定义Opener简单的自定义opener()ProxyHandler处理器（代理设置）CookieCookie属性Cookie应用cookielib库 和 HTTPCookieProcessor处理...
2019-09-24 09:23:37
1398
1
原创 Http协议认识
一、tcp与upd应用场景：1. udp： 面向无连接的，可一对一或一对多,相对tcp速度更快，实时性更好，耗资源更少，但稳定性、可靠性比tcp差 - 多点通信，比如广播通信 - 当对网络通讯质量要求不高的时候，要求网络通讯速度能尽量的快，更实时，使用UDP ，比如语音，实时视频2. tcp： 面向连接，且一对一，比udp更稳定，可靠，适合通信质量要求较高的场...
2019-09-17 19:24:01
390
原创 虚拟机Linux终端命令格式
Linux终端命令格式1. 终端命令格式 command [-options] [parameter] command: 命令，比如ls -options: 选项 ， 用于修饰命令， 比如说查看详细列表 ls -l parameter:参数 , 描述命令要操作的对象 ，比如 ls -l /opt /opt是参数 -l 是选项 ...
2019-09-17 09:32:26
7720
原创 Python中用tornado做简单项目
文章目录tornado简单项目git的使用tornado简单项目链接： https://blog.csdn.net/xc_zhou/article/details/80637714异步阻塞等概念： https://www.cnblogs.com/zhangyafei/p/9606765.htmlTornado既是一个web server，也是web framework。而它作为web se...
2019-09-17 09:22:21
574
原创 Python中flask的简介和基本操作
文章目录flask简介Flask最最简单的一个页面开启Debug调试flask代码的基本解释flask详细解析flask启动参数flask路由请求方式限定路由查找方式给路由传参示例返回JSON数据重定向到视图函数HTTP 异常主动抛出捕获错误模板渲染flask视图函数flask请求requestargs：获取GET请求参数form：获取POST请求参数flask的cookie和session设置c...
2019-09-11 14:19:06
1204
原创 Python中MySQL（pymsql）的使用
文章目录mysql数据库mysql数据库的安装修改密码:建库以及基本系统信息的操作数据库表的操作**1.登陆数据库系统****2.创建数据库****3.删除数据库：**4**.数据库存储引擎**5.创建表注意数据库的数据类型数值类型**字符串类型**CHAR 和 VARCHAR 类型TEXT 和 BLOB 类型**日期和时间类型**DATE、TIME 和 TEAR 类型复合类型ENUM 类型SET...
2019-09-11 14:14:50
1239
原创 Python中django ORM-models的基本操作
文章目录django ORMseting配置安装mysqlclientdjango admin后台系统models 定义属性概述属性命名限制modelsmysqldb基本操作:关于pymysqldjango ORMseting配置使用mysql数据库，settings中配置如下： DATABASES = { 'default': { 'ENGINE': 'dja...
2019-09-11 14:12:00
382
原创 Python中form的使用
文章目录form的主要作用：1.在model里创建一些数据类型2.在model.py同级目录下新建forms.py3.在view视图中 ，做表单验证4.在html页面，代码超简单，这点django做的不错form的主要作用：1.在html中生成表单框架，2.验证数据https://www.cnblogs.com/zongfa/p/7709639.html1.在model里创建一些数据类型...
2019-09-11 14:10:11
5239
原创 Python中的django_templates的使用
文章目录templates渲染模版方式有两种模版查找路径django 模板的语法（只能用于django）基本语法1:基本语法2:基本语法3:if标签基本语法4:基本语法5:基本语法6:模板语法过滤器：基本语法7:页面的跳转:templates Django自带的是DTL(Django Templates language) DTL模版是一种带有特殊语法的HTML文件。渲...
2019-09-11 14:08:58
275
原创 Python中的django
文章目录一 创建虚拟环境(virtualenv 和virtualenvwrapper)退出:deactivateubuntu 安装虚拟环境：1、安装 virtualenvwrapper2.安装django3.创建一个Django项目4.测试服务器的启动5.数据迁移6.创建应用7.基本视图8.基本模板9.定义模型10.Admin 后台管理11.展示班级列表12.配置url练习：二 url和模板1. ...
2019-09-11 10:09:13
1535
原创 HTTP返回状态码及错误
文章目录HTTP返回状态码及错误1xx - 信息提示2xx - 成功3xx - 重定向4xx - 客户端错误5xx - 服务器错误常见的 HTTP 状态代码及其原因HTTP返回状态码及错误1xx - 信息提示这些状态代码表示临时的响应。客户端在收到常规响应之前，应准备接收一个或多个 1xx 响应。• 100 - 继续• 101 - 切换协议2xx - 成功这类状态代码表明服务器成功地...
2019-09-11 09:35:07
233
原创 python中url以及views的详细讲解
url基础1url路由基础参考案例在python3中使用django2，设置urls的区别url获取参数---重点讲url1.对urls.py不做处理获取路由上传递的参数2.通过urls.py获取url上的参数views视图详细讲解一、HttpRequest对象，request请求信息和属性和方法。二、HttpResponse响应对象方法和属性。1,HttpResponseRedirect2、re...
2019-08-19 19:15:00
897
原创 Python中redis基础
redis基础redis简介redis做缓存(用的非常多，很常用)redis特点Redis 优势redis安装redis保持后台运行python操作redisredis连接普通连接连接池连接管道字符串相关操作列表相关操作集合相关操作有序集合相关操作其他常用操作redis简介简介： https://www.cnblogs.com/guotianbao/p/8683037.htmlredis是主...
2019-08-19 18:36:00
141
原创 Python虚拟机中的Linux基础
文章目录文件和目录操作的基本命令1 pwd（print working directory）2 cd （change directory）3、ls4、tree5、mkdir6、touch7、rmdir8、rm9、mv10、cp用户及权限管理命令exit命令whoamiwho用户（user）和用户组（group）管理命令文件和目录操作的基本命令1 pwd（print working dire...
2019-08-07 19:02:02
753
原创 Python网络编程（UDP和TCP）
文章目录Python和网络编程网络编程1、引子软件的开发架构C/S架构B/S架构什么是网络目的网络通信过程1. 2台电脑的网络说明2. 使用集线器组成一个网络说明3. 使用交换机组成一个网络说明4. 使用路由器连接多个网络5. 通信过程（复杂）说明网络编程的定义端口Socket简介什么是Socket创建一个SocketUDP网络程序发送数据Socket 对象(内建)方法UDP绑定端口TCP简介TC...
2019-08-06 18:33:16
410
原创 Python面向对象
文章目录面向过程面向对象1面向对象编程类的定义和使用类定义数据封装对象之间的交互类命名空间与对象、实例的空间面向对象2静态方法和类方法1、静态方法2、类方法注意：property概述：简单的实现：改进1：改进2：改进3：改进4：property 类self`__new__`方法`__call__`方法`__doc__`方法面向对象3反射四个可以实现自省的函数：setattrdelattritem系...
2019-08-06 18:33:02
91
原创 Python线程和进程
文章目录多任务介绍并发与并行进程进程的定义：进程的创建 ---> fork()线程线程的定义：进程的工作方式进程和线程的区别Python中多线程的实现线程的执行顺序多任务介绍1、现实中的多任务一边看剧一边吃饭2、计算机中的多任务操作系统同时完成多项任务的处理。此处同时是指同一个时间段内，而非同一时刻。多任务处理是指，用户在同一时间段内运行多个应用程序，每个应用程序就可以称之为一...
2019-08-06 18:32:32
81
原创 python装饰器
文章目录装饰器装饰器存在的意义：例子：装饰器的几种形式1、无参无返回值2、无参有返回值万能装饰器函数被多个装饰器所装饰总结：装饰器首先看一个例子：@func1def func()： print("aaa")装饰器存在的意义：不影响原有的函数的功能可以添加新功能一般常见的，比如拿到第三方的API接口，第三方不允许修改这个接口。这个时候，装饰器就派上用场了。装饰器本身也是一个...
2019-07-31 20:02:26
56
原创 python中的迭代器、生成器、闭包
文章目录迭代器可迭代对象：迭代器协议：如何实现？可迭代对象测试：通过迭代器，迭代应用场景生成器创建一个生成器生成器函数构造一个产生无穷奇数的生成器闭包什么是闭包闭包：装饰器迭代器可迭代对象：list, str, tuple, etc —> for … in … 遍历 —> 遍历（迭代）迭代器协议：对象必须提供一个next方法，执行该方法要么返回迭代中的下一选项，要么引起Sto...
2019-07-30 17:20:44
106
原创 python函数的特征
文章目录函数的三大特征继承私有属性封装面向过程面向对象面向对象编程类的定义和使用类定义数据封装对象之间的交互类命名空间与对象、实例的空间函数的三大特征继承多态封装继承在面向对象编程中，当我们定义一个新类的时候，可以从某个现有的类继承，新的类就被称为子类(Sub Class)，而被继承的类则被称为基类，父类，超类(Base Class,Father Class,Super Class...
2019-07-30 13:34:09
110
原创 python函数（下）
文章目录reduce函数功能：格式：apply函数功能：zip函数功能：格式：reduce函数功能：对一个序列进行压缩运算，得到一个value。python2中，reduce() 是内置函数，而现在，py3中，它被移植到functools 模块中。from functools import reduce格式：reduce(function，iterable，[initial])...
2019-07-25 17:24:14
80
原创 python函数（上）
文章目录局部变量：可变类型的全局变量递归函数匿名函数（lambda）高阶函数filter函数功能：调用格式：map 映射功能：格式：局部变量：包含在def关键字定义的语句块中，即在函数中定义的变量。每当函数被调用时都会创建一个新的局部作用域。Python中也有递归，即自己调用自己，每次调用都会创建一个新的局部命名空间。在函数内部的变量声明，除非特别的声明为全局变量，否则均默认为局部变量。有些情...
2019-07-24 18:24:11
75
原创 python中常见的错误与异常
文章目录错误与异常错误异常常见异常：异常处理raise(触发异常)assert（断言）函数引子：函数的定义函数的调用函数文档说明函数参数函数返回值函数的参数种类不定参数函数的引用函数属性内嵌函数变量作用域作用域的产生作用于的类型全局变量和局部变量错误与异常错误语法错误（syntax error）逻辑错误（logic error）执行期间错误（runtime error）for i ...
2019-07-23 18:24:25
437
原创 python模块
文章目录模块（module）Python中导入模块的常用方式自定义模块os模块1、系统操作2、目录操作 --- 增删改查(direction)判断文件拓展：查看文件的时间（从1970.1.1零点开始算）获取文件目录模块（module）开发过程中，程序代码会越来越多，如果直接放在一个文件里，代码会越来越长。—> 代码不易维护为了编写方便维护代码，可以把不同功能的代码分组，保存在不同的文件...
2019-07-23 13:31:38
246
原创 文件操作
文章目录常见的文件类型文件的操作流程文件的打开文件对象的属性关闭读写定位读取常见的文件类型txt (储存数据类型)csv (储存数据类型)jsonhtmlmp4文件的操作流程打开—>open()读/写—>read(/write()关闭—>close()模式描述r以只读方式打开文件。文件的指针将会放在文件的开头。这是...
2019-07-22 22:22:33
69
原创 python中的字典与集合
文章目录python中的字典与集合字典（dic()）特点：字典的创建空字典创建多元素字典强转：格式：字典的常见操作增删改查集合（set()）特点：用途：集合的创建：空集合的创建：多元素集合的创建：单元素元组的创建：强转：集合的基本操作：增删改查遍历集合的基本运算：子集交集并集差集python中的字典与集合字典（dic()）key : value —>键值对字典是列表以外Python中...
2019-07-19 17:40:32
326
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人