数据分析
数据预处理+数据分析+数据集
斑马!
本科和研究生就读于某普通一本院校的计算机科学与技术专业,目前研究生三年级,暑期实习拿到美团,阿里,京东等大厂offer;秋招拿到了美团,京东,小米等大厂offer。方向是大数据开发工程师,主要做的是离线数仓和实时数仓这块。有想一起学习的小伙伴可以通过博客联系我!
展开
-
数据处理-数据可视化-折线图的绘制/柱状图绘制(指数级坐标轴)(python版)
#encoding=utf-8import matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['Arial Unicode MS']#折线图#x = ["随机森林","贝叶斯","逻辑回归","深度学习","机器学习","数据挖掘"]y = [56.5,55.4,53.1,54.5,54.3,52.9]#线1的纵坐标plt.plot(x,y,'s-',color = 'r',label="ATT-RLSTM")#s-:方形.原创 2020-05-18 11:16:01 · 2388 阅读 · 0 评论 -
数据分析-数据预处理-根据CSV格式的数据的第一列作为key,若第一列的key相等,则将相同的key后面的第二列合并添加(Java版)
一:题目--文章需要解决的问题题目的意思也可以表述为: 将一堆项集数据,根据数据的第一列值是否相同,来判断第二列的值是否该进行合并,相当于使之变成序列数据集。题目的样例1表述: 输出的数据格式 (可以先用Excel进行升序处理,便于userID相等的呆在一起) a,v1 a,v2 b,v3 a,v4...原创 2020-04-20 17:11:06 · 875 阅读 · 0 评论 -
数据处理-对Excel文件读取和操作和存储(python版)
一:利用python读取Excel中.xls文件中所有数据#encoding=utf-8import xlrdimport xlwtfrom xlwt import *fileName="test01.xls"bk=xlrd.open_workbook(fileName)shxrange=range(bk.nsheets)try: sh=bk.sheet_by_name("Sheet1")except: print ("代码出错")nrows=sh.nrows #获取原创 2020-06-28 09:09:14 · 849 阅读 · 0 评论 -
数据分析-数据预处理-完成数据统计的柱状图的绘制(Java版本)
一:问题描述 在我的博客文章https://blog.csdn.net/yezonghui/article/details/105665709里面详细介绍使用Excel进行数据分离,每行序列长度统计,长度数量计算,柱状图的绘制。在本文章中我们将采用Java编程来达到上述数据预处理的效果。二:问题解决1.数据的最初格式:2.数据每行长度进行统计 思路:即判断一...原创 2020-04-25 16:44:44 · 978 阅读 · 0 评论 -
数据分析-数据预处理-数据数量统计和柱状图绘制(Excel版处理)
一:解决的问题: 问题描述1:原始数据在Excel里面,且每行都只有一个单元格存放该行的所有数据;我们需要做的事情是统计该Excel表每行数据的个数。 问题描述2: 1)原始数据集 2)先把每行放在一个单元格里面的数据集准确地放到多个单元格里面,即每个整数对应一个单元格。 3)采用count()函数,统计每行(元素)整数的个数...原创 2020-04-21 21:26:40 · 5696 阅读 · 0 评论 -
数据预处理-Excel表中如何在数据中批量添加(括号)/「尖括号」等
1.问题: Excel表中如何在数据中批量添加(括号)/<尖括号>等2.解决办法: 假设数据在A列,在B1输入="<"&A1&">",然后通过右下角往下填充就可以了。3.样例: ...原创 2020-07-03 09:05:55 · 12783 阅读 · 1 评论 -
数据预处理-判断csv文件中每一行中空格/(数据值)数量(python版)
一:问题描述: 如下图所示,我们要统计表格中每行数据值(例如艺术,设计,历史是三个数据值)的个数二:空格替换逗号 从表格中可以看到有些数据值之间是空格,有些数据值之间是逗号。我们利用excel本身有的搜索替换把逗号替换为空格。三:文件读取 利用csv.reader(csvfile)进行一行一行的读取。with open('mooctypecount.csv','r',encoding="utf-8") as csvfile: r...原创 2020-07-06 16:56:57 · 2748 阅读 · 0 评论 -
java学习-求解一个list列表中所有整数的平均数和方差
由于Java中不像python中那样有现成的numpy包#求平均数 #arr_mean = np.mean(arr)#求方差 #arr_var = np.var(arr)因此我们需要根据平均数和方差的定义来求解,具体代码见下:import java.text.DecimalFormat;import java.util.ArrayList;import java.util.Collections;import java.util.List;public class Var {.原创 2020-07-02 15:34:30 · 4031 阅读 · 0 评论 -
python学习-微信好友签名词云展示
微信好友签名词云展示一:介绍1.主要是按照百度上的流程一步一个脚印2.做好相关包安装和配置3.复制粘贴代码,然后进行修改4.一般都是修改文件放置的位置5.此处主要是图片所处的位置,事先下载好图片,并放到与代码一个文件夹下。6.生成的图片也会在此文件夹下源代码:#!/usr/bin/env python# -*- coding:utf-8 -*- import itchatimport reimport jiebadef echart_pie(friends)原创 2020-07-16 19:06:10 · 145 阅读 · 0 评论 -
Java实例-文件写入(以txt为例)/随取取出txt文档的某些行
在主函数中使用,来实现文件写入import java.io.*; public class Main { public static void main(String[] args) { try { BufferedWriter out = new BufferedWriter(new FileWriter("runoob.txt")); out.write("菜鸟教程"); out.close();原创 2020-08-18 22:09:54 · 160 阅读 · 0 评论 -
python按行合并两个文件
问题:描述:有两个文件,把两个文件的每行进行拼接,结果输出到新的文件中# coding=gbkwith open('mooc_weight.txt', 'r') as fa: # 读取需要拼接的前面那个TXT with open('smooc.txt', 'r') as fb: # 读取需要拼接的后面那个TXT with open('smooc_weight2.txt', 'w') as fc: # 写入新的TXT for line in fa:原创 2021-05-28 14:37:24 · 1227 阅读 · 1 评论 -
数据预处理-Excel 两列合并为一列中间加空格
目录一:leetcode二:算法三:经典题目一:leetcode数组:https://blog.csdn.net/yezonghui/article/details/100932562字符串:https://blog.csdn.net/yezonghui/article/details/111990036二分查找:https://blog.csdn.net/yezonghui/article/details/111996594深度优先DFS:https://blog.csdn原创 2021-05-28 14:09:57 · 10986 阅读 · 0 评论 -
Excel常用功能总结
目录1 excel提升速度小技能1.1.Excel快速提取功能1.2 单元格使用1.3 冻结窗格1.4 查找和替换1.5 分列功能2数据分析2.1条件格式2.2.Excel中图表2.3 求和/平均值/最大最小值等2.4 套用表格格式2.5 excel中数据录入3.数据清洗/数据预处理3.1 power query3.2 数据验证3.3 单元格条件格式3.4 删除重复值3.5 查找和定位条件4 函数4.1 函数使用规范4.2原创 2022-05-15 20:59:58 · 5821 阅读 · 1 评论 -
Python对Excel中具体某几列进行数据预处理
1.利用python读取Excel中.xls文件中所有数据#encoding=utf-8import xlrdimport xlwtfrom xlwt import *fileName="test01.xls"bk=xlrd.open_workbook(fileName)shxrange=range(bk.nsheets)try: sh=bk.sheet_by_name("Sheet1")except: print ("代码出错")nrows=sh.nrows #获原创 2022-05-07 20:34:59 · 1538 阅读 · 0 评论 -
HTML常用图表(柱状图,折线图,饼图,关联图,表格)的绘制
一:柱状图/折线图的绘制<!DOCTYPE html><head> <meta charset="utf-8"> <title>ECharts</title></head><body> <!-- 为ECharts准备一个具备大小(宽高)的Dom --> <div id="main" style="width:80%;height:400px;margin: 0 a原创 2022-05-07 20:09:08 · 12716 阅读 · 3 评论 -
数据集-20个免费的数据源/网站
20个免费的数据源/网站注意:大部分网站需要科学上网,才能访问。1. datasetsearchhttps://datasetsearch.research.google.com 它可以让你搜索到已经根据 schema.org 标准进行正确标记的可用数据集。你可以看到所有搜索结果,每个结果包括数据集名称、最近更新时间、数据集简介等。2.Google Trendshttps://trends.google.com/trends/explore ...原创 2020-07-10 08:42:53 · 10999 阅读 · 0 评论 -
大数据-数据集汇总-各种数据集网站/中心
1.购物篮数据集(网站) 在测试fp-growth算法的时候百度到了这个购物数据集 http://fimi.uantwerpen.be/data/ 【注】:这是一个数据中心,还有很多其他的数据集...原创 2019-09-21 18:17:09 · 5124 阅读 · 3 评论