- 博客(15)
- 收藏
- 关注
RSS订阅原创 系统运维系列 之Java语言中解析json嵌套数组（干货亲测）
1 引言：在数据解析过程中，json格式的数据多用来做前后端数据交互、接口数据交互等，弄清楚Java语言中解析json嵌套数组对于数据交互有着重要意义，本文基于自己的代码编写和逻辑梳理，整理出本篇干货，亲测有效。2 理论：2-1 json字符串和json对象的区别：//格式区别://JSON字符串:var str='{"name":"xiaoming","age":24}';//JSON对象:var obj={"name":"xiaoming","age":24};2-2 简单的解析js
2021-05-31 22:03:22
2649
2
原创 人工智能系列 之深度学习和caffe应用整理笔记1
1 前言之前用过windows-caffe做过深度学习的训练和应用，以下的专题算是对于caffe和深度学习部分内容的回顾。其实个人觉得数据分析和深度学习都算人工智能的范畴，整体流程分为以下几步：（1）【数据源的整理以及数据的预处理】对于数据分析来说整体目标是在海量的数据中得到数据的分布规律（均值、方差、变化趋势等），对于深度学习（专指CNN）来说就是从已知的图像分类中做图像分类、图像识别等，对于数据的质量和数量来说都有一定的要求。前者可能是质量要求大于数量要求，后者是数量要求大于质量要求，对于CNN来
2021-05-16 16:52:02
203
原创 数据分析系列 之python中面向对象与GUI的设计
1 面向对象的思想介绍1.1 这部分可以类比于C++和java中类和对象的知识来进行学习；1.2 类—描述对象的特征；对象—由数据和方法组成；1.3 抽象的介绍：类是对象的抽象，类的具体化是对象（模板），对象相当于类的具体实现；python中_init_()方法介绍：(a) 它是对象的初始化方法，当类被调用后，python将创建实例对象；(b) 创建完对象后，python自动调用的第一个方法；© 实例对象作为方法的第一个参数self被传递进去，调用类创建实例对象时的参数都传给_init_()
2021-05-16 11:24:55
456
原创 数据分析系列 之python中随机森林算法的应用
1 原理1.1 随机森林算法：随机森林就是通过集成学习的思想将多棵树集成的一种算法，它的基本单元是决策树，每棵决策树都是一个分类器（假设现在针对的是分类问题），那么对于一个输入样本，N棵树会有N个分类结果。而随机森林集成了所有的分类投票结果，将投票次数最多的类别指定为最终的输出，这就是一种最简单的 Bagging 思想。1.2 Matplotlib和SeabornMatplotlib：高度定制化绘图，需要设置更多的参数；Seaborn：定制化能力会比较差，代码更简洁。1.3 网格搜索GridSea
2021-05-15 17:00:46
1080
原创 数据分析系列 之pandas用例分析2
1 前言本专题参考学习视频和网上其他大神的资料，推出pandas用例分析2，需要分析的主题是男女生电影评分差异分析。2 原理2.1 python pandas 中 loc & iloc 用法区别loc：基于行标签和列标签（x_label、y_label）进行索引，先行后列，中间用逗号分隔，例如取row1和col1的数据：frame.loc['row1','col1']取row1和row2的数据：frame.loc['row1':'row2',:]取col1和col2的数据：fr
2021-05-15 16:02:18
176
1
原创 数据分析系列 之python语言中的聚类分析
1 基础算法(1) K-means算法：对于给定的样本集，按照样本之间的距离大小，将样本集划分为K个簇。让簇内的点尽量紧密的连在一起，而让簇间的距离尽量的大。(2) K-means算法是局部最优解，初始聚类中心一般是随机选择，有可能运行两次的结果稍有不同。(3) 距离公式常采用欧式距离和余弦相似度公式，前者越小代表距离越小，后者越大代表越相似。2 算法实现import numpy as npfrom scipy.cluster.vq import * vq,kmeans,whitenlistA
2021-05-09 21:35:35
663
原创 数据分析系列 之python中数据统计与分析
1 概述数据探索：检查数据错误，了解数据特征和分布规律数据特征分析：分布分析、统计量分析、相关分析2 分布分析2.1 定量分析：数量分布可利用直方图from sklearn import datasetsimport pandas as pdimport matplotlib.pyplot as pltimport scipyiris=datasets.load_iris()iris_df=pd.DataFrame(iris.data)iris_df.columns=iris.fe
2021-05-04 16:34:09
891
3
原创 数据分析系列 之python中数据探索与预处理
1 概述1.1 数据探索检查数据错误，了解数据分布特征和内在规律1.2 数据预处理数据清洗 Data cleaning数据集成 Data integration数据变换 Data transformation数据规约 Data reduction2 数据清洗2.1 缺失值处理删除填充：固定值、均值、中位数、上下数据、插值函数、最可能的值（回归分析填充）举例：DataFrame缺失值处理x = pd.read_csv('A.csv',index_col='Date')#检测空值x
2021-05-04 12:29:49
726
3
原创 数据分析系列 之python中数据的可视化
1 介绍Matplotlib绘图：python绘图库，主要用于二维绘图，利用绘图API–pyplot模块。pandas绘图：可以实现基于Series和DataFrame的某些绘图功能。可以直接将DataFrame的index作为x轴数据，各组values作为y轴数据。2 折线图import matplotlib.pyplot as plt#代表y轴的数据plt.plot([1,2,4,5,6,3])#默认的x轴数据plt.plot(range(6),[1,2,4,5,6,3])#绿色虚线
2021-05-03 17:42:27
364
1
原创 数据分析系列 之python中便捷数据的获取(数据获取补充)
1 怎样读取/写入csv文件数据？import pandas as pd#读取df = pd.read_csv('c/test/test.csv')#帮助信息help(pd.read_csv)#写入df.to_csv('...')#excel同理#读取df = pd.read_excel('c/test/test.xlsx', sheet_name = 'scores')#计算df['sum'] = df['Python'] + df['Math']#写入df.to_excel
2021-05-03 16:53:52
146
1
原创 数据分析系列 之python中拓展库SciPy的使用
1 概述：SciPy中的数据结构：ndarray(N维数组)Series(变长字典)DataFrame(数据框)常用的库：NumPy：强大的ndarray对象和ufunc函数，比较适合线性代数和随机数处理等科学计算，具有有效的通用多维数据，可定义任意数据类型，无缝对接数据库。Matplotlib：基于NumPy，是一个二维绘图库，可快速生成曲线图、直方图、散点图等形式的图。pandas：基于SciPy和NumPy，具有高效的Series和DataFrame数据结构，具备高效的处理大数据集的切
2021-05-03 15:27:22
342
2
原创 数据分析系列 之python中集合内容介绍
1 概述：集合：一个无序不重复的组合，包括可变集合（set）和不可变集合（frozenset）；集合中包含常见的集合运算，可以使用运算符，也可以使用函数的形式。2 举例：aSet = set('ABC')bSet = set('DEF')'D' in aSetFalseaSet == bSetFalse#注意：这里的< > <= >=含义是：是否为包含关系，不是字符串中的ASCII码大小比较aSet < bSetFalseaSet = set('AB
2021-05-03 11:31:20
286
原创 数据分析系列 之python中字典内容补充
1 生成字典的两种方式：问题：已知pList=[(‘ABC’,‘DEF’,‘123’),(‘HIJ’,‘KWL’,‘456’)]，将元素的第一个和第三个位置内容构成字典的map对。#方法1：pList=[('ABC','DEF','123'),('HIJ','KWL','456')]aList = []bList = []for i in range(5): aStr = pList[i][0] bStr = pList[i][2] aList.append(aStr) bList.ap
2021-05-03 10:48:11
219
原创 数据分析系列 之python中的浅拷贝和深拷贝
1 理解：浅拷贝只复制了父对象，而不复制内部子对象，浅拷贝让一级元素有了自己独立的内存空间，而二级元素仍然指向了被拷贝对象的二级元素的内存区域。如果既复制父对象，也复制内部子对象？利用深拷贝copy.deepcopy()来做。2 举例：x = [1,2,3]#直接赋值的方式，x和y共用同一块内存区域，所以修改y的值x也会改变y = xy[0] = 4输入：x输出：[4,2,3]#把x的浅拷贝赋值给zz = x[:]z[0] = 9输入：x#x值并没有改变输出：[4,2,3]
2021-05-03 10:08:29
119
原创 数据分析系列 之python中输入输出和函数编程
1 输入输出：1.1 概述输入函数input x=input([‘输入信息’]) 返回值为str输出语句print(对象1,…对象n,seq=’ ‘,end=’\n’)1.2 举例如何输入获得两个字符串？（若输入abc def或者abc,def）x,y = input('Input:').split()#换行符读不到x,y = input('Input:').split(' ')#逗号分隔x,y = input('Input:').split(',')如何输入获得两个整数？x
2021-05-02 18:19:36
499
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人