weixin_50022322的博客

原创 MongoDB操作大全,你想要的的这儿都有

MongoDB操作语句db.version()查看当前所在的数据库db查看当前数据库连接的地址db.getMongo()查看所有数据库show databases # 没有集合的数据库不会显示切换数据库switched to db class # 没有则创建(数据库隐式创建)创建集合db.createCollection('集合名')查看集合show collections/show tables插入文档db.集合名.insert({key:value})/db.集合名.sav

原创 mongoDB安装与启动的注意事项

文章目录前言安装步骤1.引入库2.读入数据总结前言我们知道编程中的数据库分为关系型数据库与非关系型数据库两大类.而MogoDB是非关系型数据库中最接近关系型数据库的一种,旨在为web应用提供可扩展的高性得到数据存储解决方案,另外其为爬虫提供了方便的数据存储容器.安装步骤1.引入库代码如下（示例）：import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsimport

原创 神经网络及模型优化相关知识学习图谱

原创 机器学习基础知识图谱

机器学习基础知识图谱

转载 线性回归详解

线性回归是机器学习中最基本的一个算法，但是那些所谓的效果很好的算法也无非是从这些基础算法慢慢演变而来。高中时候的数学老师给我讲过一个乔峰的故事，我今天再添油加醋的给你们说下。天龙八部中，乔峰在聚贤庄大战江湖群雄这个算是经典了，当时各路武林豪杰纷纷使出自家的看门绝学，什么易筋经啊，九阴...

原创 numpy 操作矩阵与数组

numpy 操作矩阵与数组numpy是python进行数据分析时,必不可少的一个第三方模块.它提供了大量的方法帮我们操作矩阵和数组.矩阵的创建import numpy as npmat = np.mat("1 2 3; 2 3 4; 1 2 3")# 注意 空格表示同一行中的另外一个元素,分号表示换行矩阵的运算矩阵相加mat1 + mat2矩阵相乘mat1 * mat2矩阵转置mat.T逆矩阵mat.I矩阵数乘4*mat对应矩阵相乘np.multiply(am

原创 朴素贝叶斯算法实现文本分析

朴素贝叶斯算法实现文本分析​ 最近在公司做的一个用户发言分析的项目中用到了文本分析,就产生一个对之前所学的文本分析方法做一个总结,今天主要想讲一讲朴素贝叶斯算法实现的文本分析.朴素贝叶斯:​ 在学习机器学习算法之前,必须明确的一点就是,任何一个算法都是基于一定的统计学方法对一个事件进行预估,并按照最大概率假设这件事的结果.朴素贝叶斯算法或者说朴素贝叶斯分类器就是基于朴素贝叶斯定理来实现的.贝叶斯定理:贝叶斯定理是描述两个事件(事件A, 事件B)之间条件概率的定理.有一个公式说明了这个定理:

原创 爬取大众点评全字段

import requestsfrom lxml import etreefrom openpyxl import Workbookimport refrom fontTools.ttLib import TTFontheaders = { 'Referer': 'https://www.dianping.com/', 'Host': 'www.dianping.com', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win

原创 knn算法,带你走入机器学习

knn算法,带你走入机器学习机器学习是一个朝气蓬勃的计算机新领域.这个领域充满着乐趣,同样也存在着无限的挑战.今天,我们就从一个简单的机器学习算法k值最邻近算法(k_nearst_neighbor,knn)入手走进机器学习的神圣殿堂.knn简介基础知识在学习k值最邻近算法之前,我们先来认识一下距离概念.我们在评估两个事物间的相似性时通常会比较这两个事物特征间的差距,而事物具有多个特征,在机器学习里边,我们会把一个事物看做一个n维坐标点,维数取决于特征数,坐标点在坐标轴上的映射即是其每个特征的评分值.

原创 pandas数据分析包简介

pandas数据分析包简介pandas是基于numpy的一个数据分析包.它的数据结构与numpy的ndarry数据结构类似,它的核心数据结构为series(一维数据结构)和datafram(二维数据结构).pandas 的操作流程1.表格数据的增删改查2.实现多表格处理3.数据清洗操作:缺失值,重复值,异常值,数据标准化,数据转换操作,4.实现excel的特殊操作,生成透视表,交叉表5.完成统计分析构建dataframe# 方法一df = pd.DataFrame(data=[['ss

原创 matplotlib绘图工具简介

matplotlib绘图工具简介Matplotlib是一个综合库，用于在Python中创建静态，动画和交互式可视化。我们可以将通过numpy分析得到的数据结果通过matplotlib描绘出来.配置画布画布中图形具有的字体颜色,背景颜色等可以在会图前,设置一些初始值,后面只需要对部分属性进行一些微调.import numpy as npimport matplotlib.pyplot as pltimport pylabplt.rcParams['font.sans-serif'] = 'Si

原创 numpy 操作矩阵与数组

numpy 操作矩阵与数组numpy是python进行数据分析时,必不可少的一个第三方模块.它提供了大量的方法帮我们操作矩阵和数组.矩阵的创建import numpy as npmat = np.mat("1 2 3; 2 3 4; 1 2 3")# 注意 空格表示同一行中的另外一个元素,分号表示换行矩阵的运算矩阵相加mat1 + mat2矩阵相乘mat1 * mat2矩阵转置mat.T逆矩阵mat.I矩阵数乘4*mat对应矩阵相乘np.multiply(am

原创 python实现队列,栈,链表数据结构

在说栈,队列以及链表之前,先来了解一下,顺序表:顺序表:将元素顺序的存放在一块连续的存储区域内,元素之间是顺序关系,由他们的存储顺序标识,这样的数据结构叫做顺序表.其中,python中典型的顺序表结构的数据结构便是列表(list).python的列表是一种元素个数可变的线性表,它的元素在顺序表的外侧.列表的表头与元素是分开存储的,更改list元素时,表对象不发生变化,因此list的id值不变.1.栈栈(stack):又称为堆栈.是一种数据容器,也可以实现数据的增删改查.它不同于列表的特点在于其只

原创 构建一个自己的代理池

构建一个自己的代理池1.简介对于爬虫工作者来说,使用代理IP是一个很好的对付反爬措施,使用代理ip的一大要点就是能够及时更换代理ip,此时就需要我们能够及时获取可用ip并存储.代理池可以帮我们做这一件事.2.结构简介[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ErBane1z-1607614289466)(C:\Users\MECHREVO\Desktop\Snipaste_2020-12-10_23-13-40.png)]代理池的文件结构如下上图其中gette

原创 python实现发邮件功能

python实现发邮件功能1.简介在我们实现用户注册或者用户登录等业务模块时,可能会用到邮件发送功能.python支持邮件的smtp协议,其提供了email和smtp两个模块来实现这功能.其中smtp模块负责发送邮件,email模块负责构建邮件.2.准备(1)安装需要的模块pip install emailpip install smtplib(2)开通邮箱的smtp协议,获取授权码(qq邮箱为例)进入邮箱后点击"设置"–>选择"账户"–>下拉找到POP3/IMAP/SMTP/E

原创 多线程爬取腾讯招聘信息,并存放在MongoDB

多线程爬取腾讯招聘信息,并存放在MongoDB header = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ' 'AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/87.0.4280.66 Safari/537.36'}def deal_params(p_q): for i in rang

原创 爬取虎牙直播同一时间段的所有直播间信息

import requestsfrom openpyxl import Workbookfrom bs4 import BeautifulSoupfrom tqdm import tqdmclass LiveSpider(): def super_spider(self): headers = { "user-agent": "Mozilla/5...

原创 Django认识

　　Django是一个python开发的大而全的web框架,而且其文件结构完善,配置合理,使得开发者使用方便,容易掌握.对于开发者来说是一款比较理想的框架.最近前后端分离的开发模式大行于世,也使得Django的使用更加火热.　　　Django的框架设计在遵循MVC设计思想的同时,开发了属于自己的一套框架设计思想,即MTV,相比于MVC来说,MVT的框架设计思想中的每个构件分工更加明确....

原创 flaskweb框架的视图描述

原创 ORM该如何认识

简介：ORM:object relational Mapping,通过面向对象来描述数据(数据库结构/结构)，将描述内容自动持久化到关系数据库中，本质就是数据从一中方式转化为另一种方式，ORM意为着数据库消耗变大。flask 采用flask封装的flask_sqlschemy链接数据库:(mysql,sqlite)：连接mysql其中的mysql有两个版本：python3：My...

原创 何为jinjia2

jinjia2模板技术来源于django技术，但是发展趋势强于django模板系统。jiajia2的功能包括：HTML加载1、在main文件同级目录创建templates目录2、在目录当中编写HTML文件3、导入render_template方法4、使用render_template方法加载HTML文件5、将加载的内容返回HTML数据渲染就是把python视图函数当中的数...

原创 flask_很好用的一款web框架

一，Flask介绍　　　框架:对同一类型的项目共性代码的封装,称为框架。　　Flask是python编写的一类WEB框架，相较于其他框架来说。Flask框架更加轻量，灵活，但是对python代码能力要求高，Flask只提供了最基本web功能，其他功能需要开发者使用自己python代码实现，所以Flask项目质量由开发者能力决定的，但是，随着版本的迭代更新，许多社区，组织，三方开发了公...