大大枫free

转载 pandas核心数据结构---API

pandas基础pandas介绍Python Data Analysis Librarypandas是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入 了大量库和一些标准的数据模型，提供了高效地操作大型结构化数据集所需的工具。pandas核心数据结构数据结构是计算机存储、组织数据的方式。 通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。数据结构往往同高效的检索算法和索引技术有关。SeriesSeries可以理解为一个一维的数组，只是index名

转载 不一样的django2.0笔记《文件上传与项目部署》

《Django Web框架教学笔记》目录文章目录《Django Web框架教学笔记》目录文件上传Django中的用户认证 (使用Django认证系统)auth基本模型操作:auth扩展字段电子邮件发送项目部署uWSGI 网关接口配置 (ubuntu 18.04 配置)nginx 及反向代理配置nginx 配置静态文件路径404/500 界面邮件告警文件上传文件上传必须为POST提交方式表单<form>中文件上传时必须有带有enctype="multipart/form-data

原创 不一样的Django2.0缓存与中间件

《Django Web框架教学笔记》目录文章目录《Django Web框架教学笔记》目录缓存什么是缓存？为什么使用缓存？使用缓存场景：Django中设置缓存Django中使用缓存浏览器中的缓存强缓存协商缓存中间件 Middleware跨站请求伪造攻击 CSRF分页Paginator对象Page对象文件下载缓存什么是缓存？缓存是一类可以更快的读取数据的介质统称，也指其它可以加快数据读取的存储方式。一般用来存储临时数据，常用介质的是读取速度很快的内存为什么使用缓存？视图渲染有一定成本，对于低频变动

转载 django2.0框架 admin后台管理数据

《Django Web框架教学笔记》目录文章目录《Django Web框架教学笔记》目录admin 后台数据库管理注册自定义模型类修改自定义模型类的展现样式模型管理器类再谈Meta类数据表关联关系映射一对一映射一对多映射多对多映射cookies 和 sessioncookiessessionCookies vs sessionadmin 后台数据库管理以电商网站，例如淘宝为例：前台：面向广大用户访问和使用的。页面新颖，功能较多。例如：浏览商品、添加到购物车，支付购买等等。后台：面向淘宝公司员工的

原创 不一样的django2.0笔记（4）

《Django Web框架教学笔记》目录文章目录《Django Web框架教学笔记》目录查询数据查询谓词修改数据删除数据聚合查询F对象Q对象原生的数据库操作方法查询数据数据库的查询需要使用管理器对象进行通过 MyModel.objects 管理器方法调用查询接口方法说明all()查询全部记录,返回QuerySet查询对象get()查询符合条件的单一记录filter()查询符合条件的多条记录exclude()查询符合条件之外的全部记录…

原创 不一样的django2.0笔记（3）

《Django Web框架教学笔记》目录文章目录《Django Web框架教学笔记》目录静态文件Django中的应用 - app创建应用app应用的结构应用的分布式路由include 函数应用的模板模型层Django下配置使用 mysql 数据库模型（Models）Django 的 ORM框架模型示例模型类Models 创建字段类型字段选项Meta内部类数据库迁移的错误处理方法模型层的基本操作管理器对象创建数据对象Django shell 的使用静态文件什么是静态文件不能与服务器端做动态交互的

转载 不一样的django2.0笔记（2）

《Django Web框架教学笔记》目录文章目录《Django Web框架教学笔记》目录Django的框架设计模式模板 TemplatesDjango 模板语言模板的传参模板的变量XSS攻击反射型xss存储型xssDOM xss模板的标签过滤器模板的继承url 反向解析Django的框架设计模式MVC 设计模式MVC 代表 Model-View-Controller（模型-视图-控制器） 模式。作用: 降低模块间的耦合度(解耦)MVCM 模型层(Model), 主要用于对数据库层的封装

原创 不一样的django2.0笔记（1）

《Django Web框架学习笔记》Django框架的介绍起源&现状2005年发布,采用Python语言编写的开源web框架早期的时候Django主做新闻和内容管理的一个重量级的 Python Web框架，Django 配备了常用的大部分组件基本配置路由系统原生HTML模板系统视图 viewModel模型,数据库连接和ORM数据库管理中间件Cookie & Seesion分页数据库后台管理系统adminDjango的用途网站后端开发微信

原创 Django框架----创建子应用

创建子应用在Web应用中，通常有一些业务功能模块是在不同的项目中都可以复用的，故在开发中通常将工程项目拆分为不同的子功能模块，各功能模块间可以保持相对的独立，在其他工程项目中需要用到某个特定功能模块时，可以将该模块代码整体复制过去，达到复用。在Flask框架中也有类似子功能应用模块的概念，即蓝图Blueprint。Django的视图编写是放在子应用中的。1.创建在django中，创建子应用模块目录仍然可以通过命令来操作，即：python manage.py startapp 子应用名称man

原创 使用python开发时----为什么要搭建virtualenv虚拟环境？

为什么要搭建虚拟环境呢？在开发过程中, 当需要使用python的某些工具包/框架时需要联网安装比如联网安装Django框架django的1.11.11版本 sudo pip install django==1.11.11提示：使用如上命令, 会将Django安装到/usr/local/lib/python2.7/dist-packages路径下问题：如果在一台电脑上, 想开发多个不同的项目, 需要用到同一个包的不同版本, 如果使用上面的命令, 在同一个目录下安装或者更新, 新版本会

原创 Django框架基础介绍（一）

Django介绍1.简介Django，发音为[`dʒæŋɡəʊ]，是用python语言写的开源web开发框架，并遵循MVC设计。劳伦斯出版集团为了开发以新闻内容为主的网站，而开发出来了这个框架，于2005年7月在BSD许可证下发布。这个名称来源于比利时的爵士音乐家DjangoReinhardt，他是一个吉普赛人，主要以演奏吉它为主，还演奏过小提琴等。由于Django在近年来的迅速发展，应用越来越广泛，被著名IT开发杂志SDTimes评选为2013SDTimes100，位列"API、库和框架"分类第6位，

原创 自动生成舔狗日记让你感受不一样的技术魅力

舔狗日记：2020-09-18 浙江 杭州 星期五 天气：小雨 你昨天晚上又没回我信息，我却看见你的游戏在线，在我再一次孜孜不倦的骚扰你的情况下，你终于跟我说了一句最长的话“你他妈是不是有病”，我又陷入了沉思，这一定有什么含义，我想了很久，你竟然提到了我的妈妈，原来你已经想得那么长远了，想和我结婚见我的父母，我太感动了，真的。那你现在在干嘛，我好想你，我妈妈说她也很喜欢你。舔狗日记：2020-09-18 浙江 杭州 星期五 天气：小雨 今天我观战了一天你和别人打游戏，你们玩的很开心；我给你发了200多

原创 MySQL实现远程链接的解决方案

最近有在总结项目中遇到的一些细节小问题，其中就有个新手同事说mysql数据库链接不上。其实，问题很好解决，在默认情况下，MySQL只允许本地登录，我们只需要修改下配置文件就行了。展示下他的报错：django.db.utils.OperationalError: (2003, "Can't connect to MySQL server on '192.168.244.130' ([Errno 111] Connection refused)")首先：我么打开终端输入下面的命令cd /etc/my

原创 Ubuntu18.04安装Google Chrome方法——一分钟教你搞定

一分钟教你用命令搞定Google Chrome 安装：第一步：打开终端，依次输入以下命令：wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.debsudo apt-get -f install$ sudo dpkg -i google-chrome-stable_current_amd64.deb$ google-chrome-stable就这样，我们成功的安装好了 Goog

原创 如何快速掌握Python中的闭包-----python基础

1.闭包的介绍我们前面已经学过了函数，我们知道当函数调用完，函数内定义的变量都销毁了，但是我们有时候需要保存函数内的这个变量，每次在这个变量的基础上完成一些列的操作，比如: 每次在这个变量的基础上和其它数字进行求和计算，那怎么办呢?这个时候就需要闭包来操作了。闭包的定义:在函数嵌套的前提下，内部函数使用了外部函数的变量，并且外部函数返回了内部函数，我们把这个使用外部函数变量的内部函数称为闭包。2.闭包的构成条件通过闭包的定义，我们可以得知闭包的形成条件:1.在函数嵌套（函数里面在定义函数）的前提

原创 文本分析简历项目收集-----机器学习（仅供参考）

文本分析项目3：基于自然语言处理的影评分析项目简介：通过大量的正面和负面的电影评论对计算机进行自然语言训练，实现计算机对电影评论的基本情感分析，使其能够快速判断出评论是否积极个人职责：1. 对正面和负面的电影评论进行分词处理，整理成规定的训练数据集格式；​ \2. 对nltk自带的朴素贝叶斯分类器模型进行训练；\3. 最后模拟业务场景检测训练效果项目3：2018.08 – 2018.12 智能考试分析系统**项目描述：**由于公务员、事业单位、国企等面

原创 语音识别项目简历收集-----机器学习（仅供参考）

语音识别项目名称：智能手表语音识别系统**项目描述：**儿童智能监控语音识别手表，可以实现人机沟通，紧急呼救报警等功能。**职责描述：**1.使用scipy，numpy,读取和绘制音频数据2.使用傅里叶解析算法进行音频滤波3.使用正弦算法进行音频合成4.使用梅尔频率倒谱系数算法提取音频特征；5.创建隐马尔科夫模型用该模型的score值比较，进行语音识别。项目3 土地变更县级外业调查软件的语音识别系统项目描述：在土地变更的县级外业调查阶段，一般处于冬季，气候寒冷，本项目的语音识别模块可识别

原创 机器学习项目简历收集册-----机器学习（仅供参考）

图像识别项目一：齿轮表面粗糙度自动检测开发应用：python3+sklearn+opencv项目描述：1）使用CCD相机获取齿轮表面图像2）图片预处理，使用中值滤波，去除图片椒盐噪声，使用直方图均衡化进行图像增强3) 使用小波变换提取零件的纹理特征4）进行pca主成分分析进行降维获取特征5）使用支持向量机分类器进行分类项目二：验证码识别开发应用：python+tensorflow项目描述：1）通过公司提供的数据集对数据进行编码2）搭建cnn神经网络3）对模型进行训练，提高验证码的识别

原创 样本类别均衡化、K均值算法等核心API使用 ---- 机器学习

中文分词（jieba）https://github.com/fxsjy/jieba样本类别均衡化上采样与下采样处理样本类别均衡化下采样：把样本数据量大的那一类样本减少到与数据量小的那一类样本数量相近。上采样：把样本数据量小的那一类样本增加到与数据量大的那一类样本数量相近。通过类别权重的均衡化，使所占比例较小的样本权重较高，而所占比例较大的样本权重较低，以此平均化不同类别样本对分类模型的贡献，提高模型性能。样本类别均衡化相关API：model = svm.SVC(kernel='linear'

原创 SVM原理与网格搜索如何应用----机器学习

支持向量机(SVM)支持向量机原理寻求最优分类边界正确：对大部分样本可以正确地划分类别。泛化：最大化持向量间距。公平：与支持向量等距。简单：线性，直线或平面，分割超平面。基于核函数的升维变换通过名为核函数的特征变换，增加新的特征，使得低维度空间中的线性不可分问题变为高维度空间中的线性可分问题。线性核函数：linear，不通过核函数进行维度提升，仅在原始维度空间中寻求线性分类边界。基于线性核函数的SVM分类相关API：model = svm.SVC(kernel='linear'

转载 如何正确划分训练数据集和测试数据集------机器学习

数据集划分对于分类问题训练集和测试集的划分不应该用整个样本空间的特定百分比作为训练数据，而应该在其每一个类别的样本中抽取特定百分比作为训练数据。sklearn模块提供了数据集划分相关方法，可以方便的划分训练集与测试集数据，使用不同数据集训练或测试模型，达到提高分类可信度。数据集划分相关API：import sklearn.model_selection as ms训练输入, 测试输入, 训练输出, 测试输出 = \ ms.train_test_split( 输入集, 输出集, test

转载 欧氏距离算法与NLP概述------机器学习

推荐引擎推荐引擎意在把最需要的推荐给用户。在不同的机器学习场景中通常需要分析相似样本。而统计相似样本的方式可以基于欧氏距离分数，也可基于皮氏距离分数。欧氏距离分数欧氏距离分数=11+欧氏距离欧氏距离分数 = \frac{1}{1+欧氏距离}欧氏距离分数=1+欧氏距离1​计算所得欧氏距离分数区间处于：[0, 1]，越趋于0样本间的欧氏距离越远，样本越不相似；越趋于1，样本间的欧氏距离越近，越相似。构建样本之间的欧氏距离得分矩阵：$$\left[\begin{array}{c}&

转载 网格搜索、DBSCAN算法----机器学习

网格搜索获取一个最优超参数的方式可以绘制验证曲线，但是验证曲线只能每次获取一个最优超参数。如果多个超参数有很多排列组合的话，就可以使用网格搜索寻求最优超参数组合。针对超参数组合列表中的每一个超参数组合，实例化给定的模型，做cv次交叉验证，将其中平均f1得分最高的超参数组合作为最佳选择，实例化模型对象。网格搜索相关API：import sklearn.model_selection as msmodel = ms.GridSearchCV(模型, 超参数组合列表, cv=折叠数)model.fit

转载 交叉验证、学习曲线、支持向量机(SVM)等核心API----机器学习

交叉验证由于数据集的划分有不确定性，若随机划分的样本正好处于某类特殊样本，则得到的训练模型所预测的结果的可信度将受到质疑。所以需要进行多次交叉验证，把样本空间中的所有样本均分成n份，使用不同的训练集训练模型，对不同的测试集进行测试时输出指标得分。sklearn提供了交叉验证相关API：import sklearn.model_selection as msms.cross_val_score(模型, 输入集, 输出集, cv=折叠数, scoring=指标名)->指标值数组案例：使用交叉验证

转载 机器学习：分类模型的应用案例及核心API

人工分类特征1特征2输出3102511816405203514714-10………681510案例：import numpy as npimport matplotlib.pyplot as mpx = np.array([ [3, 1], [2, 5], [1, 8], [6, 4], [5, 2], [3, 5],

转载 机器学习：随机森林模型、正向激励模型应用案例及核心API

正向激励首先为样本矩阵中的样本随机分配初始权重，由此构建一棵带有权重的决策树，在由该决策树提供预测输出时，通过加权平均或者加权投票的方式产生预测值。将训练样本代入模型，预测其输出，对那些预测值与实际值不同的样本，提高其权重，由此形成第二棵决策树。重复以上过程，构建出不同权重的若干棵决策树。正向激励相关API：import sklearn.tree as stimport sklearn.ensemble as se# model: 决策树模型（一颗）model = st.DecisionTree

转载 机器学习：线性回归模型的应用案例及核心API

线性回归输入 输出0.5 5.00.6 5.50.8 6.01.1 6.81.4 7.0...y = f(x)预测函数：y = w0+w1xx: 输入y: 输出w0和w1: 模型参数所谓模型训练，就是根据已知的x和y，找到最佳的模型参数w0 和 w1，尽可能精确地描述出输入和输出的关系。5.0 = w0 + w1 × 0.55.5 = w0 + w1 × 0.6单样本误差：根据预测函数求出输入为x时的预测值：y’ = w

转载 机器学习：如何解决模型数据预处理问题

机器学习概述什么是机器学习机器学习是一门能够让编程计算机从数据中学习的计算机科学。一个计算机程序在完成任务T之后，获得经验E，其表现效果为P，如果任务T的性能表现，也就是用以衡量的P，随着E增加而增加，那么这样计算机程序就被称为机器学习系统。自我完善，自我增进，自我适应。为什么需要机器学习自动化的升级和维护解决那些算法过于复杂甚至跟本就没有已知算法的问题在机器学习的过程中协助人类获得对事物的洞见机器学习的问题建模问题所谓机器学习，在形式上可这样理解：在数据对象中通过统计或推理的

原创 一条SQL查询语句是如何执行的：基础架构

我们经常说，看一个事儿千万不要直接陷入细节里，你应该先鸟瞰其全貌，这样能够帮助你从高维度理解问题。同样，对于 MySQL 的学习也是这样。平时我们使用数据库，看到的通常都是一个整体。比如，你有个最简单的表，表里只有一个 ID 字段，在执行下面这个查询语句时：mysql> select * from stu where ID=1；我们看到的只是输入一条语句，返回一个结果，却不知道这条语句在 MySQL 内部的执行过程。所以今天我们一起把 MySQL 拆解一下，看看里面都有哪些“零件”，希望借由这

原创 利用Python合并多个CSV或者EXCEL文件

最近有个朋友想在杭州买套房子，让我帮忙分析下，就有接下来的一些事情了，怎么个分析思路呢？我现在还在思考中，后续打算分析完在来和大家交流。其实，买房现在来看还是稳赚不赔的买卖呀，有钱搞股票不如拿钱去买房，当然大佬除外。闲话不多说，随便写了个爬虫代码去链家上抓了些数据，当时有点傻，把每个区域都存了一份CSV文件，扔到一个CSV文件它不好吗？改几行代码就完事的，但就是不想改爬虫代码了，这不就来搞几行代码完成这个合并，闲话不多说，直接开搞。其实文件也不多，就9个文件，手动的复制粘贴也很快的就能搞定的，但是这个

原创 利用scrapy实现对腾讯招聘岗位抓取

忙碌一周多终于算是过来，这个时间中一直想写点什么，但是又不知道写点什么，刚好前一段时间有个朋友说帮忙爬点职位信息，这不今天就试着用scrapy框架去腾讯家溜达了一圈，同时也用多线程试了下，不得不说scrapy是真快，闲话不说，干货走起！！！目标：腾讯招聘职位信息中的：名称（job_name）、类别(job_type)、职责(job_duty)、要求(job_require)、地址(job_address)、时间（job_time）要求存入MySQL数据库 和CSV文件谷歌浏览器中打开百度然后没谁的搜索

原创 3.无重复字符的最长子串---leetcode

3.无重复字符的最长子串题目：给定一个字符串，请你找出其中不含有重复字符的 最长子串 的长度。示例1：输入: “abcabcbb”输出: 3解释: 因为无重复字符的最长子串是 “abc”，所以其长度为 3。示例2：输入: “bbbbb”输出: 1解释: 因为无重复字符的最长子串是 “b”，所以其长度为 1。示例3：输入: “pwwkew”输出: 3解释: 因为无重复字符的最长子串是 “wke”，所以其长度为 3。请注意，你的答案必须是 子串 的长度，“pwke” 是一个子序列，

原创 2.两数相加解题思路和方法---leetcode

2.两数相加给出两个 非空 的链表用来表示两个非负的整数。其中，它们各自的位数是按照 逆序 的方式存储的，并且它们的每个节点只能存储 一位 数字。如果，我们将这两个数相加起来，则会返回一个新的链表来表示它们的和。您可以假设除了数字 0 之外，这两个数都不会以 0 开头。示例：输入：(2 -> 4 -> 3) + (5 -> 6 -> 4)输出：7 -> 0 -> 8原因：342 + 465 = 807解题方法：1.递归法：get_num 把 List

原创 1.两数之和解题思路和方法——leetcode

1.两数之和** 给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。**你可以假设每种输入只会对应一个答案。但是，数组中同一个元素不能使用两遍。示例：给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]解题方法：1.暴力法：遍历每个元素，并查找是否存在一个值与target-x相等的目标元素，如果采用传统的两遍

原创 写爬虫时候遇到字题编码处理方法

最近在接到一个爬虫任务，遇到有意思的事情了，现在爬虫与反爬虫直接的斗争越来越有意思了，那些写前端的大佬们开始走心了，这就让我们这些写爬中的兄弟们有点难受了，但是呢？作为一名敲代码的，特别是搞spider的同志，我们只能与反爬做斗争想办法解决问题完成任务滴。闲话少说，开始我们今天的正题。任务需求：爬取某网站的小说，爬小说就算了吧，还要爬取指定网站的，这个就不好玩了，这个指定网站有点东西的，哎，爬这个指定网站的小说具体干啥俺也不知道，俺也不敢问，只能埋头默默的写爬虫。在爬取得过程中遇到了：** 小说中的主人

转载 统计学最全思维导图

本文用一系列 「思维导图」 由浅入深的总结了 「统计学」 领域的基础知识，是对之前系列文章做的一次完整的梳理，也是我至今为止所有与统计有关的学习笔记。众所周知，「统计学」 是深入理解 「机器学习/数据挖掘」 的重要基础学科。思维导图描述性统计：表格与图形法描述性统计：数值方法概率概率分布抽样分布区间估计假设检验两总体均值&比例的推断总体方差的统计推断多个比率的比较/独立性/拟合优度检验实验设计 | 方差分析简单线性回归残差分析多元回归时间

原创 数据分析之----数值模型描述统计

数据分析DAY03处理普通文本读取文本：read_csv() read_table()方法参数参数解释filepath_or_buffer文件路径sep列之间的分隔符。read_csv()默认为为’,’, read_table()默认为’\t’header默认将首行设为列名。header=None时应手动给出列名。namesheader=None时设置此字段使用列表初始化列名。index_col将某一列作为行级索引。若使用列表，则设置复合索引。

原创 玩转numpy、pandas ----数据分析(二）

基于numpy的电信流失用户初步数据分析。import numpy as npimport matplotlib.pyplot as mpdef loadtxt(): """ 读取csv文件，返回保存所有数据的ndarray对象。 """ rows = [] with open('CustomerSurvival.csv', 'r') as f: for i, line in enumerate(f.readlines()):

原创 scrapy shell使用方法（十）

回顾（九）settings.py常用变量【1】settings.py中常用变量 2.1) 设置日志级别 LOG_LEVEL = '' 2.2) 保存到日志文件(不在终端输出) LOG_FILE = '' 2.3) 设置数据导出编码(主要针对于json文件) FEED_EXPORT_ENCODING = 'utf-8' 2.4) 设置User-Agent USER_AGENT = '' 2.5)

原创 一张图带你了解Numpy基础知识