AI 之路
关注
分享
扫一扫
文章平均质量分 81
从Python基础到人工智能机器学习
餐霞散人
这个作者很懒，什么都没留下…
展开
-
【目标检测】使用Retinanet训练自己的数据集——Keras版本
文章目录Retinanet 较之 SSD, YOLO系one stage目标检测网络，在保证检测速度的基础上，很大的提高了在样本类别分布不平衡情况下的检测精度，这得益于He Kaiming等人所提出的Focal LossPaper可见Focal Loss for Dense Object Detection由于在工作或一些特定场景中，我们的数据很大可能不会像COCO, Pascal...原创 2019-03-28 21:08:57 · 7854 阅读 · 6 评论 -
特征工程 - 数据预处理
1 数据预处理流程2 缺失值处理2.1 直接使用含有缺失值的特征2.2 删除含有缺失值的特征2.3 缺失值补全2.3.1 均值插补2.3.2 建模预测2.3.3 高维映射3 特征编码3.1 二元化3.2 独热编码4 数据标准化,正则化4.1 MinMaxScaler4.2 MaxAbsScaler4.3 StandardScaler4.5 数据正则化...原创 2018-09-17 17:41:28 · 1000 阅读 · 0 评论 -
机器学习框架 - sklearn 快速上手
1. sklearn简介2 sklearn的使用流程3 sklearn覆盖的机器学习问题4 Estinator评估器, Transformer转换器 Pipeline管道典型的机器学习流程:5 Pipeline使用实例泰坦尼克号案例1. sklearn简介Python语言的编程工具 基于Numpy,Scipy和matplotlib构建开源,BS...原创 2018-08-23 22:00:37 · 1378 阅读 · 0 评论 -
合作项目 : 人工智能专业相关职位数据分析 (爬虫+数据处理)
1 项目背景2 Scrapy 爬取51job具体信息3 数据清洗3.1 导入csv3.2 处理tags,提取其中有效信息3.2.1 处理tags中数据数目不一致,规整数据信息3.2.2 处理地区信息,提取其中省名3.3 将处理好的tags信息与原数据合并并删除原tags列3.4 处理薪资单位不一致问题,规整为 “/月”3.5 将处理完的数据保存至csv...原创 2018-08-16 18:39:24 · 1627 阅读 · 0 评论 -
Pandas - 数据的聚合与分组计算
1 数据分组 - groupby()1.1 按照多列进行分组的两种方法1.2 对分组进行迭代1.3 将列数据按照数据类型进行分组1.4 通过字典或者Series对DataFrame数据进行分组2 数据聚合2.1 分组结果的内置聚合函数2.2 自定义聚合函数2.3 apply函数自定义函数利用apply应用到分组对象上2.4 分组加权平均数和相关系数...原创 2018-08-08 17:07:56 · 11626 阅读 · 0 评论 -
Pandas - 数据规整化
1 数据规整化-合并数据集1.1 merge的内连,外连,左连,右连merge方法总结1.2 Series的数据连接1.2.1 concat()1.2.2 合并重叠数据 combine_first & append2 数据规整化-重塑与轴向选择2.1 层次化索引2.2 重塑层次化索引3 数据规整化-数据转换3.1 清除重复数据3.1.1 dupli...原创 2018-08-07 20:54:29 · 663 阅读 · 0 评论 -
Pandas - 数据的加载、存储与解析
Pandas加载数据Pandas存储数据Pandas加载数据import pandas as pdfrom pandas import DataFrame,Seriesimport sysread_csv 从文件,URl,文件型对象中加载带分隔符的数据,默认分隔符为逗号(,)read_table 从文件,URl,文件型对象中加载带分隔符的数据,默认分隔符为...原创 2018-08-08 16:00:23 · 1658 阅读 · 0 评论 -
时间模块-Python & Pandas
Python中的时间模块1 time模块1.1 时间戳1.2 结构化时间 time.struct_time1.2 格式化字符串1.3 时间函数1.4 总结:三种格式时间转化图2 datetime模块2.1时间日期对象转字符串2.2 将字符串转datetime类型Pandas中得时间日期转化1 将时间日期类型作为Series得index索引dateutil包里...原创 2018-08-06 20:50:51 · 592 阅读 · 0 评论 -
Pandas-进阶应用
1 pandas中的数据运算与算术对齐2 iloc与loc的切片与索引3 DataFrame与Series之间的运算4 函数应用和映射4.1 用apply将一个规则应用到DataFrame的行或者列上4.2 applymap 将一个规则应用到DataFrame中的每一个元素5 Series和DataFrame的排序6 处理Series的重复索引7 汇总计算描述统计8...原创 2018-08-07 09:36:33 · 767 阅读 · 1 评论 -
Pandas-基本数据结构-Series & DataFrame
1. Series1.1 Series的创建1.2 Series的索引切片2. DataFrame2.1 DataFrame的创建2.2 DataFrame的索引，切片3 Series中的数据运算import pandas as pdfrom pandas import Series,DataFrameimport numpy as np...原创 2018-08-07 22:26:15 · 796 阅读 · 1 评论 -
Scipy---入门篇
一、scipy中io模块使用二、scipy中的stats子模块，用于产生符合特定规律的随机数二、计算随机数的均值和标准差三、scipy计算随机数组的偏度、峰度三、计算数据符合正太分布程度的函数五、练习一、scipy中io模块使用import scipyimport numpy as npimport matplotlib.pyplot as pltfrom...原创 2018-08-01 20:57:27 · 6414 阅读 · 0 评论 -
自然语言分析数据预处理---获取国外电影评论中出现多的热词
import pandas as pd#读取labeledTrainData.tsv文件df = pd.read_csv("./labeledTrainData.tsv", sep='\t', escapechar='\\')df.head(10) .dataframe thead tr:only-child th { ...原创 2018-08-01 14:41:34 · 1227 阅读 · 0 评论 -
Matplotlib-利用pandas进行数据分析并作可视化展示
一、简单的绘图展示二、绘制柱状图三、共用坐标轴绘制两种不同类型的图四、pandas导入excel数据并绘制频率分布直方图五、绘制箱线图一、简单的绘图展示randomList = np.random.randn(10).cumsum()randomList#结果''' array([ 0.43692622, -0.17404988, 0.847985...原创 2018-07-31 22:12:05 · 4696 阅读 · 0 评论 -
Matplotlib-高级篇
*导入常用库的一个方法一、高级篇之再论柱状图二、Matplotlib加载数据并进行可视化展示—with open:三、Matplotlib加载数据并进行可视化展示-简化版(numpy.loadtxt())四、加载网络数据并用码头plotlib进行可视化展示*导入常用库的一个方法在当前工程目录下新建一个base.py文件,输入常用需要导入的语句等#base...原创 2018-07-30 21:51:55 · 2759 阅读 · 0 评论 -
Matplotlib-综合演练
绘制正余弦图像绘制正余弦图像1. 快速创建三角函数2. 绘制函数图像并修改线宽及颜色3. 调整坐标轴4. 特殊点注释完成图1. 快速创建三角函数import matplotlib.pyplot as pltimport numpy as npfrom numpy import pi #导入numpy中的pi常量#用来正常显示中文标签 plt.rcPa...原创 2018-07-30 21:24:47 · 411 阅读 · 0 评论 -
Matplotlib-绘图入门
1 创建一个简单的绘图1.1 导入matplotlib1.2 创建画板1.3 进行绘图2 绘制折线图3 绘制柱状图/条形图4 绘制直方图5 绘制饼图6 绘制散点图7 绘制堆叠图1 创建一个简单的绘图1.1 导入matplotlibimport matplotlib.pyplot as plt1.2 创建画板#创建画板p...原创 2018-07-30 21:06:11 · 228 阅读 · 0 评论 -
Numpy的应用
1. 矩阵的创建2. 算术运算3. 通用函数3.1 一元(unary)ufunc3.2. 二元(unary)ufunc3.3 numpy已有的通用函数的具备的方法1. 矩阵的创建手动创建A = np.mat('1 2 3 4 5 6')使用Numpy数组创建 B = np.mat(np.arange(1,10).reshape(3,3))利用...原创 2018-07-30 09:43:25 · 858 阅读 · 0 评论 -
基于Numpy的统计分析
1. 读取导入CSV文件数据2. 利用average函数实现计算成交量加权平均价格3. 利用mean函数实现计算股价的算术平均值4. min函数和max函数实现计算最大值和最小值5. ptp函数计算数组元素的极差6. 两种方法计算收盘价的中位数6.1 利用median函数计算6.2 利用msort函数排序，后取中间数7. 利用var()函数计算方差8. 计算股票收益率、...原创 2018-07-26 23:35:29 · 1426 阅读 · 0 评论 -
Python 科学计算库：Numpy(一)
1 Numpy简介2 Numpy的基础使用2.1 导入numpy2.2 创建数组2.2.1 利用array创建多维数组2.2.2 利用函数创建3 Numpy-数据类型4 Numpy方法1 Numpy简介NumPy 是一个 Python 包。 它代表 “Numeric Python”。 它是一个由多维数组对象和用于处理数组的例程集合组成的科学计算库,...原创 2018-07-23 20:00:08 · 1064 阅读 · 0 评论 -
Jupyter notebook 使用教程
1 jupyter notebook简介2 启动3 创建新的文件4 快捷键的使用4.1 命令模式4.2 编辑模式5 导出6 Matplotlib集成1 jupyter notebook简介jupyter notebook是一个在线编辑器，可以在网页上编辑程序，在编辑的过程中，每次编辑一行代码就可以运行一行代码，运行的结果也可以显示在代码的下方，方便查看。当...原创 2018-07-23 17:59:37 · 8924 阅读 · 0 评论 -
爬虫进阶之Scrapy框架原理及实现
Scrapy框架1. Scrapy整体架构2. Scrapy运行流程3. 安装4. 基本使用4.1 创建项目4.2 编写爬虫4.3 运行爬虫5. HtmlXPathSelector 选择器6. 递归访问爬取网页7. 获取Cookies8. Items格式化处理Scrapy框架Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用...原创 2018-07-20 11:50:11 · 1257 阅读 · 1 评论 -
Python网络爬虫进阶+正则表达式
1 HTML基础1.1 HTML结构1.2 HTML各标签结构1.3 HTML样式2.正则表达式2.1 元字符2.1.1 元字符之. ^ $ * + ? { }2.1.2 元字符之字符集［］2.1.3 元字符之转义符 \2.1.4 元字符之分组()2.1.4 元字符之｜2.1.5 正则表达式模式总结2.2 re模块下的常用方法爬虫案例 13 Beauti...原创 2018-07-17 21:56:45 · 471 阅读 · 0 评论 -
Python网络爬虫基础(一)
1. HTTP简介1.1 HTTP请求格式1.2 HTTP请求方式1.3 浏览器开发者工具使用1.4 HTTP GET请求查看1.5 HTTP POST请求查看2. urllib和urllib2模块使用2.1 模块介绍及两模块异同3. Requests模块使用3.1 Requests模块介绍3.2 Requests模块常见API使用3.3 设置请求头信息模拟浏...原创 2018-07-17 06:54:15 · 226 阅读 · 0 评论 -
学习日志(九 ) Python持久化操作-MySQL篇
Python持久化操作-MySQL篇Python持久化操作-MySQL篇1. Python+MySQL – pymysql模块1.1 pymsql概述1.2 安装pymsql1.3 pymsql具体用法实际操作1. Python+MySQL – pymysql模块1.1 pymsql概述pymsql是Python中操作MySQL的模块，...原创 2018-07-12 14:41:00 · 837 阅读 · 0 评论 -
学习日志(八) 分布式数据库之MySQL
分布式数据库之MySQL分布式数据库之MySQL1. 数据库操作2.数据表操作练习1. 数据库操作show databases; #查看数据库create database database_name; #建立数据库drop database database_name; #删除数据库use database_name #打开数据库2.数据表操...原创 2018-07-12 17:28:16 · 704 阅读 · 0 评论 -
学习日志(六) 分布式数据库MongoDB
分布式数据库之MongoDB分布式数据库之MongoDB1. 指定工作目录并连接服务2. 基本及高级用法作业1. 指定工作目录并连接服务 cmd运行 mongod –dbpath MongoDB的目录 启动MongoDB数据服务器 再运行一个cmd 输入命令mongo 连接MongoDB服务器2. 基本及高级用法 use D...原创 2018-07-12 16:42:12 · 858 阅读 · 0 评论 -
学习日志(七) Python+MongoDB
Python+MongoDBPython+MongoDB1. 插入数据2. 插入多条记录3. 查询数据4. 更新数据5. 删除数据6. 查询同时更新练习1. 插入数据insert_one(doc)#插入一条insert_many(doc,ordered=True/False)#插入多条#True 代表顺序插入,若有一条插入失败,则批量插入失败#F...原创 2018-07-12 17:22:33 · 954 阅读 · 0 评论 -
学习日志(五) Python操作csv Excel
Python 持久化操作 - CSV、ExcelPython 持久化操作 - CSV、Excel1. Python操作csv1.1 读CSV1.2 写CSV练习2. Python操作Excel2.1 利用 xlrd 模块操作 Excel2.2 利用 xlwt 模块 写入excel文件2.3 xlutils结合xlrd操作Excel2.4 利用openpyxl操作Ex...原创 2018-07-12 16:17:02 · 1078 阅读 · 0 评论 -
学习日志(四) Python面向对象
Python面向对象面向对象知识点思维导图Python面向对象1. Python的编程方式2. Python 类与对象3. 类的声明和实例化3.1 创建类3.2 实例化类3.2 调用类的方法3.4 构造函数3.5 self类的实例4. 类的属性和方法类的私有属性和私有方法5. 类的继承1. Python的编程方式 面向对象：...原创 2018-07-13 16:24:05 · 478 阅读 · 0 评论 -
学习日志(三) Python函数
Python函数函数知识点思维导图Python函数1.函数的定义及使用2.参数传递2.1参数类型3.return返回值4.变量作用域5.python匿名函数练习5.1 filter函数5.2 map函数5.3 reduce函数6. 函数扩展7. 函数对象8. 函数闭包9. 装饰器练习1.函数的定义及使用函数代码块以 def...原创 2018-07-13 15:19:49 · 598 阅读 · 0 评论 -
学习日志(二) Python流程控制
Python流程控制流程控制知识点思维 导图Python流程控制1.if条件语句1.1 语法结构课上练习2.循环结构2.1 while循环2.2 for循环1.if条件语句1.1 语法结构单选择结构 x=int(input('请输入分数:')) if x>=90: print('A')双选择...原创 2018-07-13 14:38:16 · 566 阅读 · 0 评论 -
学习日志(一) Python变量,运算符及表达式
Python变量,运算符及表达式Mind Manager 思维导图Python变量,运算符及表达式1. Python基本数据类型1.1 标准数据类型NoneNumberStringBool1.2 容器数据类型列表 list索引更新列表元祖 tuple创建方法元祖运算符字典 dictionary字典的创建方式访问字典修改字典中的元素增...原创 2018-07-12 15:39:39 · 421 阅读 · 0 评论