- 博客(56)
- 收藏
- 关注
RSS订阅原创 Anaconda在windows下安装教程
Anaconda在windows下安装教程检查安装的Python版本号下载对应的Anaconda版本anaconda python 版本对应关系国内镜像下载较快，下载地址安装教程使用教程:安装完成后可以点击系统左下角的 Windows 图标找到 Anaconda3 文件夹，查看所包含的内容。点击“Jupyter Notebook”即可启动 notebook....
2021-01-28 11:20:20
226
原创 linux下安装专业版pycharm
linux下安装pycharm首先在官网下载pycharm专业版，网址：http://www.jetbrains.com/pycharm/download/#section=linux解压到/opt下cd 桌面tar -xzvf pycharm-professional-2020.2.2.tar.gz -C /opt更改hosts文件（ etc/hosts ），添加一行代码：0.0.0.0 account.jetbrains.comsudo vim /etc/hosts最后一行添
2020-09-28 10:12:20
1684
1
原创 远程连接mysql和redis配置
远程连接Redis配置流程配置流程【1】修改配置文件 sudo gedit /etc/redis/redis.conf 修改如下2个内容后保存退出: # bind 127.0.0.1 ::1 把此行注释掉 protected-mode no 把默认的yes改为no 【2】重启redis服务 sudo /etc/init.d/redis-server restart 【3】远程连接测试(在远程机器上) re
2020-06-10 17:33:09
341
原创 数据库设计范式
数据库设计文章目录数据库设计前言范式定义第一范式第二范式第三范式反范式前言中国计算机学会副理事长-王珊教授的《数据库系统概论》范式是“符合某一种级别的关系模式的集合，表示一个关系内部各属性之间的联系的合理化程度范式定义一张数据表的表结构所符合的某种设计标准的级别就像家里装修买建材，最环保的是E0级，其次是E1级，还有E2级等等。数据库范式也分为1NF ，2NF，3NF，BCNF，4...
2020-04-15 10:27:40
153
原创 jquery对 ajax 的支持
文章目录jquery对 ajax 的支持1.$obj.load()2.$.get() 和 $.post()3. $.ajax()跨域1，什么是跨域2，解决方案3, jquery 的跨域jquery对 ajax 的支持1.$obj.load() 作用：载入远程的HTML文件到指定的元素中$obj.load(url,data,callback) $obj:显示响应内容的jq元素 u...
2019-12-04 16:37:14
141
原创 机器学习总结
文章目录机器学习机器学习概述什么是机器学习为什么需要机器学习机器学习的问题机器学习的种类机器学习的一般过程机器学习的典型应用机器学习的基本问题数据预处理均值移除(标准化)范围缩放归一化二值化独热编码标签编码线性回归线性回归评估训练结果误差（metrics）模型的保存和加载岭回归多项式回归决策树基本算法原理工程优化集合算法正向激励自助聚合随机森林人工分类逻辑分类朴素贝叶斯分类数据集划分交叉验证混淆矩...
2019-11-18 17:17:09
672
原创 数据分析之数理统计基础
文章目录数理统计1.总体数据和样本数据2.数量数据和属性数据3.截面数据和时间序列数据4.数据的分布1.属性数据的频数分布（Frequency distribution)2.频率分布3.数量数据的频率分布4.累积分布5.位置测度1.均值（算术平均和加权平均）2.中位数3.众数（mode）4.几何平均（geometric mean）6.变异性测量1.极差2.方差（Variance）3.标准差 (**...
2019-11-18 14:57:36
2460
原创 数据分析之numpy基础
文章目录Numpy1. Numpy数组创建函数2. Numpy的数据类型3.Numpy通用函数4.Numpy基本数组统计方法5. Numpy数组的集合运算、线性代数函数和随机函数6.Numpy矩阵的切片和索引Matplotlib子图备注散点图条形图（柱状图）饼图柱状图案例：Numpy1. Numpy数组创建函数import numpy as npdata1 = [6, 7.5, 8, 0...
2019-11-18 14:48:28
209
原创 数据结构
数据结构文章目录数据结构数据结构基本概念什么是数据结构？数据之间的结构关系逻辑结构（关系）存储结构（关系）线性表线性表的顺序存储线性表的链式存储栈和队列栈队列树形结构基础概念二叉树定义与特征二叉树的遍历递归思想和实践二叉树的代码实现二叉树顺序存储二叉树链式存储算法基础基础概念特征时间复杂度计算排序和查找排序查找二分法查找数据结构基本概念什么是数据结构？数据数据即信息的载体，是能够...
2019-11-14 20:27:50
318
1
转载 pandas基础
文章目录pandas基础pandas介绍pandas核心数据结构SeriesDateTimeIndexDataFrame核心数据结构操作Jupyter notebookpandas核心pandas描述性统计pandas排序pandas分组将数据拆分成组迭代遍历分组获得一个分组细节分组聚合pandas数据表关联操作pandas透视表与交叉表pandas可视化数据读取与存储movielens电影评分数...
2019-11-13 21:00:51
206
原创 redis02之哈希数据类型/集合数据类型/有序集合数据类型
文章目录redis01回顾Redis的特点五大数据类型字符串类型列表类型Python与redis交互注意redis-note02==位图操作bitmap(操作字符串类型)====Hash散列数据类型==集合数据类型（set）==有序集合sortedset==案例redis01回顾Redis的特点1、基于key-value的非关系型数据库2、基于内存存储，速度很快3、基于内存存储，经常当作...
2019-11-13 20:35:43
171
原创 数据分析之numpy基础/matplotlib绘图/numpy常用函数/杂项功能
文章目录numpy概述numpy`历史`numpy的核心：多维数组numpy基础ndarray数组内存中的ndarray对象ndarray数组对象的特点ndarray数组对象的创建ndarray对象属性的基本操作ndarray对象属性操作详解ndarray数组对象的维度操作ndarray数组切片操作多维数组的组合与拆分ndarray类的其他属性matplotlib概述matplotlib基本功能m...
2019-11-13 20:28:17
2463
原创 python面试基础之笔试题
文章目录写一个程序，读取文件时，一次读取十行，把读取的内容放到生成器，然后打印出生成器中的内容import timef = open("java.log", "r")def func(): i = 0 data = "" for line in f: data += line i += 1 if i % 10...
2019-10-29 19:45:55
257
原创 python面试基础之Linux基础
文章目录Linux**常用Linux操作系统****远程连接工具-xshell****默认已熟练使用的Linux命令****常用命令****vi及vim使用****Linux命令-Go on****Linux-Go on****周期性计划任务****文本处理工具 - awk****常见服务的端口号**Linux常用Linux操作系统RedHat(红帽)：6.5、7 CentOS：6.5、7...
2019-10-28 20:54:03
267
原创 python面试基础之shell编程
文章目录**笔记****使用命令必须养成的习惯****常用远程连接软件****最最最常用命令****周期性计划任务****文本处理工具 - awk****文本处理工具 - sed****grep命令之正则表达式****shell编程****Shell格式****shell执行方式****变量****shell - 算术运算符****shell - 比较运算符****shell - if分支结构**...
2019-10-28 20:52:23
359
原创 python面试基础之知识点总结
文章目录回顾可迭代对象、迭代器和生成器并发和并行进程、线程、协程Python中的那些锁MySQL数据库基础面试题回顾可迭代对象、迭代器和生成器可迭代对象1、定义 ：可通过for循环迭代读取数据供我们使用的对象2、本质 ：可迭代对象通过__iter__()方法向我们提供一个迭代器3、示例name_list = ['紫衫龙王','金毛狮王','白眉鹰王','青翼蝠王']name_i...
2019-10-28 20:49:12
179
原创 redis之事务/常见问题汇总
文章目录day04笔记Redis事务pipeline补充Redis常见问题汇总day04笔记Redis事务特点1. 单独的隔离操作：事务中的所有命令会被序列化、按顺序执行，在执行的过程中不会被其他客户端发送来的命令打断2. 不保证原子性：redis中的一个事务中如果存在命令执行失败，那么其他命令依然会被执行，没有回滚机制事务命令1、MULTI # 开启事务2、命令1 # 执行...
2019-10-25 18:23:33
608
原创 python爬虫之分布式爬虫/scrapy_redis详解/scrapy - post请求/机器视觉与tesseract/BeautifulSoup解析模块
文章目录前情回顾settings.py常用变量非结构化数据抓取scrapy.Request()设置中间件今日笔记分布式爬虫分布式爬虫介绍scrapy_redis详解腾讯招聘分布式改写1、正常项目数据抓取（非分布式）2、改写为分布式（同时存入redis）改写为分布式（同时存入mysql）腾讯招聘分布式改写- 方法二scrapy - post请求机器视觉与tesseract作用三个重要概念安装tess...
2019-10-25 09:09:13
494
1
原创 爬虫之scrapy框架的图片抓取/中间件的设置
文章目录前情回顾scrapy框架创建项目流程响应对象属性及方法爬虫项目启动方式日志级别数据持久化存储(MySQL、MongoDB)保存为csv、json文件settings.py常用变量scrapy.Request()参数今日笔记scrapy - 腾讯招聘图片管道(360图片抓取案例)scrapy shell的使用设置中间件(随机User-Agent)少量User-Agent切换大量User-Ag...
2019-10-25 09:02:47
271
原创 爬虫之scrapy框架的数据持久化存储/保存为scv,json文件
文章目录前情回顾selenium+phantomjs/chrome/firefoxexecjs模块使用今日笔记scrapy框架小试牛刀猫眼电影案例知识点汇总数据持久化存储(MySQL)实现步骤保存为csv、json文件盗墓笔记小说抓取案例（三级页面）今日任务前情回顾selenium+phantomjs/chrome/firefox设置无界面模式（chromedriver | firefox...
2019-10-25 08:51:16
967
原创 python爬虫之ip代理参数/动态加载数据抓取
文章目录前情回顾requests.get()参数常见的反爬机制及处理方式今日笔记代理参数-proxies控制台抓包requests.post()参数有道翻译破解案例(post)python中正则处理headers和formdata民政部网站数据抓取动态加载数据抓取-Ajax豆瓣电影数据抓取案例今日任务前情回顾requests.get()参数1、url2、params -> {} ：查...
2019-10-19 15:15:44
3486
原创 python爬虫之json模块解析/多线程爬虫
文章目录前情回顾控制台抓包有道翻译过程梳理增量爬取思路动态加载网站数据抓取数据抓取最终梳理今日笔记豆瓣电影数据抓取案例json解析模块json.loads(json)json.dumps(python)json.load(f)json.dump(python,f,ensure_ascii=False)json模块总结腾讯招聘数据抓取多线程爬虫小米应用商店抓取(多线程)cookie模拟登录人人网登录...
2019-10-19 14:53:27
846
原创 python爬虫之数据解析模块汇总/cookies模块登录/浏览器自动操作爬取
文章目录前情回顾多线程爬虫解析模块汇总今日笔记cookie模拟登录人人网登录案例selenium+phantomjs/Chrome/Firefox京东爬虫案例前情回顾多线程爬虫思路1、将待爬取的URL地址存放到队列中2、多个线程从队列中获取地址,进行数据抓取3、注意获取地址过程中程序阻塞问题 while True: if not q.empty(): ...
2019-10-19 14:40:59
452
原创 python爬虫之无界面模式操作/scrapy框架
文章目录前情回顾cookie模拟登陆三个池子selenium+phantomjs/chrome/firefox今日笔记chromedriver设置无界面模式selenium - 键盘操作selenium - 鼠标操作selenium - 切换页面民政部网站案例selenium - iframe子框架百度翻译破解案例scrapy框执行流程图示:今日任务前情回顾cookie模拟登陆1、适用网站类...
2019-10-19 11:44:10
12872
1
原创 python爬虫之request.get()参数
文章目录前情回顾目前反爬总结请求模块总结解析模块总结xpath表达式增量爬虫如何实现Chrome浏览器安装插件今日笔记链家二手房案例（xpath）百度贴吧图片抓取requests.get()参数查询参数-paramsWeb客户端验证参数-authSSL证书认证参数-verify代理参数-proxies今日任务前情回顾目前反爬总结基于User-Agent反爬1、发送请求携带请求头: he...
2019-10-16 09:06:41
14943
原创 python爬虫之requests模块/xpath解析/lxml解析库
文章目录前情回顾爬取网站思路数据持久化 - csv数据持久化 - MySQL数据持久化 - MongoDB多级页面数据抓取今日笔记电影天堂二级页面抓取案例领取任务实现步骤requests模块安装requests.get()Chrome浏览器安装插件安装方法需要安装插件xpath解析定义示例匹配演示选取节点匹配多路径（或）常用函数lxml解析库安装使用流程html样本示例+练习xpath最常使用方法...
2019-10-16 09:03:26
2016
1
原创 python爬虫之数据持久化存储(csv文件/mysql数据库/mangodb数据库)
文章目录前情回顾请求模块(urllib.request)编码模块(urllib.parse)解析模块(re)抓取步骤**今日笔记**任务讲解**任务1 - 正则分组练习**猫眼电影top100抓取案例数据持久化存储数据持久化存储 - csv文件作用使用流程示例代码练习数据持久化存储 - MySQL数据库数据持久化存储 - MongoDB数据库电影天堂二级页面抓取案例**领取任务**实现步骤今日作业...
2019-10-16 08:45:51
916
原创 python爬虫之网络爬虫概述/请求模块/正则解析
文章目录网络爬虫概述定义爬取数据目的企业获取数据方式Python做爬虫优势爬虫分类爬虫爬取数据步骤爬虫请求模块一模块名及导入常用方法详解urllib.request.urlopenurllib.request.RequestURL地址编码模块模块名及导入常用方法urllib.parse.urlencode({dict})quote(string)编码unquote(string)解码总结百度贴吧数...
2019-10-15 21:04:29
315
原创 Celery
文章目录Celery1 定义2,使用场景2 使用celery3 Django + CeleryCelery1 定义Celery 是一个简单、灵活且可靠的，处理大量消息的分布式系统它是一个专注于实时处理的任务队列，同时也支持任务调度中文官网：http://docs.jinkan.org/docs/celery/在线安装 sudo pip3 install celery离线安装tar...
2019-10-15 20:47:04
210
1
转载 redis基础之数据持久化/redis主从复制/官方高可用方案Sentinel/分布式锁
文章目录redis-node02回顾五大数据类型及应用场景位图操作（bitmap）哈希（散列）类型集合类型（set）有序集合redis-note03笔记==有序集合sortedset====数据持久化====Redis主从复制====官方高可用方案Sentinel====分布式锁==博客项目解决高并发问题redis-node02回顾五大数据类型及应用场景类型特点使用场景...
2019-10-09 19:41:11
198
原创 redis基础之安装/配置/基础命令/字符串数据类型/列表数据类型
Redis-note01Redis介绍特点及优点1、开源的，使用C编写，基于内存且支持持久化2、高性能的Key-Value的NoSQL数据库3、支持数据类型丰富，字符串strings，散列hashes，列表lists，集合sets，有序集合sorted sets 等等4、支持多种编程语言（C C++ Python Java PHP ... ）与其他数据库对比1、MySQL...
2019-10-08 20:45:58
96
原创 项目实战之前后端分离/token令牌/cors跨域资源共享
文章目录1，前后端分离1.1 什么是前后端分离前后端请求分离与不分离示意图:前后端分离前后端不分离1.2 优点1.3 分离常见问题1.4 实现方式2，token - 令牌学前须知：2.1 JWT - json-web-token1，三大组成2，jwt结果格式3，校验jwt规则jwt优化及其检验4，pyjwt3， CORS - Cross-origin resource sharing - 跨域...
2019-09-25 20:08:07
1265
原创 ajax
AJAX文章目录AJAX1.什么是AJAX2.AJAX核心对象 - 异步对象(XMLHttpRequest)1.什么是XMLHttpRequest [简称为 xhr]2.创建 异步对象 (xhr)3.xhr 的成员3.AJAX的操作步骤1.GET请求2.POST请求2.JSON1.JSON介绍2.JSON表现1.JSON表示单个对象2.JSON表示一个数组3.使用 jq 的 each() 迭代...
2019-09-20 20:20:13
132
原创 django框架工作环境部署
《Django Web框架笔记》文章目录《Django Web框架笔记》Django中的用户认证 (使用Django认证系统)auth基本模型操作:生成CSV文件电子邮件发送项目部署WSGI Django工作环境部署uWSGI 网关接口配置 (ubuntu 18.04 配置)nginx 反向代理配置nginx 配置静态文件路径Django中的用户认证 (使用Django认证系统)Djan...
2019-09-18 21:00:03
182
原创 django之安装及简介
《Django Web框架笔记》文章目录《Django Web框架笔记》Django框架的介绍Django的安装Django框架开发创建项目的指令Django项目的目录结构URL 介绍视图函数(view)Django 中的路由配置带有分组的路由和视图函数带有命名分组的路由和视图函数HTTP协议的请求和响应HTTP 请求HTTP 响应GET方式传参POST传递参数form 表单的name属性课...
2019-09-17 20:23:58
114
原创 django之模板/过滤器/反向解析
《Django Web框架笔记》文章目录《Django Web框架笔记》Django的框架设计模式模板 TemplatesDjango 模板语言模板的传参模板的变量模板的标签过滤器模板的继承url 反向解析Django的框架设计模式MVC 设计模式MVC 代表 Model-View-Controller（模型-视图-控制器） 模式。作用: 降低模块间的耦合度(解耦)MVCM 模...
2019-09-17 20:19:20
154
原创 django之缓存/中间件/分页/文件上传
《Django Web框架笔记》目录文章目录《Django Web框架笔记》目录缓存什么是缓存？为什么使用缓存？使用缓存场景：Django中设置缓存Django中使用缓存浏览器中的缓存强缓存协商缓存中间件 Middleware中间件执行顺序跨站请求伪造保护 CSRF分页Paginator对象Page对象文件上传缓存什么是缓存？缓存是一类可以更快的读取数据的介质统称，也指其它可以加快数据读...
2019-09-17 20:00:13
191
原创 django之后台数据库管理
《Django Web框架笔记》文章目录《Django Web框架笔记》admin 后台数据库管理自定义后台管理数据表修改后台Models的展现形式模型管理器类数据库表管理数据表关联关系映射一对一映射一对多映射多对多映射cookies 和 sessioncookiessession 会话控制admin 后台数据库管理django 提供了比较完善的后台管理数据库的接口，可供开发过程中调用和测...
2019-09-16 20:39:08
908
原创 django之数据库的增删改查操作
《Django Web框架》文章目录《Django Web框架》查询数据字段查找查询谓词修改数据记录删除记录聚合查询F对象Q对象 - Q()原生的数据库操作方法批量创建数据Book.objects.bulk_create([obj1, obj2, obj3])一次插入多条数据查询数据数据库的查询需要使用管理器对象进行通过 MyModel.objects 管理器方法调用查询接口...
2019-09-14 17:00:26
297
原创 django之静态文件及数据库
《Django Web框架》文章目录《Django Web框架》静态文件Django中的应用 - app创建应用app应用的分布式路由include 函数数据库 和 模型Django下配置使用 mysql 数据库模型（Models）Django 的 ORM框架数据库迁移的错误处理方法数据库的基本操作管理器对象创建数据对象Django shell 的使用静态文件什么是静态文件不能与服务器...
2019-09-13 14:31:26
371
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人