- 博客(36)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Pandas处理时间类型数据
Pandas处理时间类型数据时间序列数据描述数据分析的分析对象不仅仅限于数值型和类别型两种,常用的数据类型还包括了时间类型.通过时间类型数据能够获取东岸对应的年月日和星期等信息.但时间类型数据在读入Python后常常以字符串形式出现,无法实现大部分与时间相关的分析.pandas库继承了NumPy库的datetime64以及timedelta64模块,能够快速地实现时间字符串的转换、信息提取和时间运算。转换字符串时间为标准时间在多数情况下，对时间类型数据进行分析的前提就是将原本为字符串的时间转换为标准
2021-06-07 09:55:31
1919
原创 Python之pip命令常用操作
Python之pip命令常用操作pip语法原文版C:\Users\H\Desktop\模拟环境\python>pip --helpUsage: pip <command> [options]Commands: install Install packages. download Download packages. uninstall Uninst
2021-06-04 08:31:10
646
原创 C语言-实训任务-循环的使用
C语言-实训任务-循环的使用任务要求求s=a+aa+aaa+aaaa+aa…a的值，其中a是用户输入的一个数字。代码实现/* Note:Your choice is C IDE */#include "stdio.h"#include "math.h"void main(){ int computeSum(int a); int a; printf("请输入a的值\n"); scanf("%d", &a); printf("%d", computeSum(a));
2021-06-01 16:48:46
203
原创 C语言-实训任务-计算球组合数
C语言-实训任务-计算球组合数任务要求从3个红球、5个白球、6个黑球中任意取出8个作为一组，要求在每组中可以没有黑球，但必须有红球和白球。输出这样的组合数有多少？并且输出每组中的红、白、黑球数。代码实现/* Note:Your choice is C IDE */#include "stdio.h"/*从3个红球、5个白球、6个黑球中任意取出8个作为一组，要求在每组中可以没有黑球，但必须有红球和白球。输出这样的组合数有多少？并且输出每组中的红、白、黑球数。*/void main(){
2021-05-31 10:22:59
747
原创 C语言-实训任务-查找区间内的素数指针版
C语言-实训任务-查找区间内的素数指针版任务要求判断101-200之间有多少个素数，并输出所有素数。代码实现/* Note:Your choice is C IDE */#include "stdio.h"#include "math.h"/*判断101-200之间有多少个素数，并输出所有素数。*/void main(){ void queryPrimeNumber(int *arry, int size); int i,n,nums[201],size=201; fo
2021-05-31 10:17:57
240
原创 C语言-实训任务-查找素数
C语言-实训任务-查找素数任务要求判断101-200之间有多少个素数，并输出所有素数。代码实现/* Note:Your choice is C IDE */#include "stdio.h"void main(){ void queryPrimeNumber(int start, int end); queryPrimeNumber(101,200); }//查找区间内的素数void queryPrimeNumber(int start, int end){
2021-05-31 10:15:21
136
原创 C语言-实训任务-计算n的阶乘
C语言-实训任务-计算n的阶乘任务要求计算n的阶乘代码实现/* Note:Your choice is C IDE */#include "stdio.h"//求10！void main(){ int i,n,num=1; printf("请输入一个整数\n"); scanf("%d", &n); for(i=1;i<=n;i++){ num*=i; } printf("%d!=%d", n,num);}
2021-05-31 10:10:20
277
原创 C语言-实训任务-流程控制
C语言-实训任务-流程控制任务要求从键盘上输入一个数，判断它是否在0～10000之内，如果该数是偶数的话，再从键盘上输入两个数，并求出这两个数的和；如果该数是奇数的话，则输出两个数的差。代码实现/* Note:Your choice is C IDE */#include "stdio.h"/*从键盘上输入一个数，判断它是否在0～10000之内，如果该数是偶数的话，再从键盘上输入两个数，并求出这两个数的和；如果该数是奇数的话，则输出两个数的差。*/void main(){ int nu
2021-05-31 10:07:29
273
原创 C语言-实训任务-找大小
C语言-实训任务-找大小任务要求输入三个整数x,y,z，请把这三个数由小到大进行输出。代码实现/* Note:Your choice is C IDE */#include "stdio.h"//输入三个整数x,y,z，请把这三个数由小到大进行输出。void main(){ int x,y,z,t; printf("请输入x,y,z的值用逗号隔开\n"); scanf("%d,%d,%d", &x,&y,&z); if(x>y){
2021-05-31 10:03:31
75
原创 C语言-实训任务-冒泡排序
C语言-实训任务-冒泡排序任务要求某歌手大赛，共有10个评委给歌手打分，分数采用百分制，去掉一个最高分， 去掉一个最低分，然后取平均分，得到歌手的成绩。编程序实现。代码实现#include <stdio.h>/**某歌手大赛，共有10个评委给歌手打分，分数采用百分制，去掉一个最高分， 去掉一个最低分，然后取平均分，得到歌手的成绩。编程序实现。*/int main(){ float score[11],t,average,sum; int i,j; for(
2021-05-31 09:53:54
1415
原创 C语言-实训任务-getchar()和putchar()函数的使用
C语言-实训任务-getchar()和putchar()函数的使用任务要求编程，用getchar()读入两个字符c1、c2，然后分别用putchar()和printf()输出这两个字符代码实现#include <stdio.h>/**编程，用getchar()读入两个字符c1、c2，然后分别用putchar()和printf()输出 这两个字符，这两个字符应为你姓名首字母（如果是三字的姓名则用前两个字母）。*/int main(){ char one,two; o
2021-05-31 09:50:22
1261
原创 C语言-实训任务-计算矩阵的对角线之和
C语言-实训案例-计算矩阵的对角线之和任务要求求一个3*3矩阵对角线元素之和代码实现#include <stdio.h>/**4、求一个3*3矩阵对角线元素之和。*/int main(){ int numbers[3][3] = {1,2,3,4,5,6,7,8,9}; int i,j,sum = 0; for(i=0;i<3;i++) sum+=numbers[i][i]; for(i=0;i<3;i++) sum+=numbers[i
2021-05-31 09:45:35
1451
原创 C语言-函数案例-计算圆周长
C语言-函数案例-计算圆周长任务要求设圆半径r=1.5，圆柱高h=3，求圆周长、圆面积、圆球表面积、圆球体积、圆柱体积。 用scanf()输入数据，输出计算结果。输出时要有说明，结果取小数点后两位数字。请编程完成题目要求。代码实现#include <stdio.h>#include <math.h>// 定义PI 宏变量#define PAI 3.141592654/** 1、设圆半径r=1.5，圆柱高h=3，求圆周长、圆面积、圆球表面积、圆球体积、圆柱体积。
2021-05-31 09:40:21
5575
原创 Java面向对象案例-工厂模式
Java面向对象案例-工厂模式案例要求代码实现定义Shape接口类package javaclass.shapes;public interface Shape { // 计算面积 double getArea(); // 计算周长 double getPerimeter();}定义Graph抽象类并实现Shape接口package javaclass.shapes;public abstract class Graph implements
2021-05-29 11:25:45
335
原创 Hadoop入门-环境搭建
Hadoop入门-环境搭建Hadoop简介HDFS1工作机制[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RR6IxWix-1616299004267)(assets/img/image-20200305105822743.png)]2组件介绍NameNodeNameNode用于存储、生成文件系统的元数据。运行一个实例。SecondaryNameNodeSecondaryNamenode是Namenode的一个热备，合并NameNode
2021-05-25 19:23:48
107
原创 机器学习-泰坦尼克号幸存者预测
机器学习-泰坦尼克号幸存者预测泰坦尼克灾难数据描述PassengerId：乘客的ID号，这个是顺序编号，用来唯一标识一名乘客。这个特征和幸存与否无关，我们不使用这个特征。Survived：1表示幸存，0表示遇难。这个是标准数据。Pclass：仓位等级，是很重要的特征。看过这部电影的读者都知道，高仓位等级的乘客能更快地到达甲板，从而更容易获救。Name：乘客名字，这个特征和幸存与否无关，丢弃这个特征。Sex：乘客性别，看过电影的读者都知道，由于救生艇数量不多，船长让妇女和儿童先上救生艇。所以这也
2021-05-06 20:37:35
778
原创 时间序列分析-预测Apple股票价格
时间序列数据描述探索Apple公司股价数据导入库import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snssns.set_style('whitegrid')plt.style.use("fivethirtyeight")%matplotlib inline# For reading stock data from yahooimport pandas_data
2021-05-06 20:19:10
590
原创 机器学习-线性回归模型
线性回归模型简述**线性回归(Linear Regression)**是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。线性回归利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模。 这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。图解使用场景线性回归有很多实际的用途，分为以下两类：如果目标是预测或者映射，线性回归可以用来对观测数据集的
2021-04-15 23:20:55
1041
2
原创 Hive 加载数据跳过表头
Hive 加载数据跳过表头问题问题描述hive加载数据时把表头当作数据加载到表中执行命令load data inpath "hdfs://node4.co:9000/hotelsparktask3" overwrite into table rawdata;解决方案方案一 修改已建的表alter table rawdata set TBLPROPERTIES ('skip.header.line.count'='1');方案二 创建表时指定create table rawdata(
2021-04-10 16:46:27
1134
原创 Sqoop数据转换问题和解决过程
Sqoop数据转换问题数据转换失败问题记录使用Sqoop数据转换工具将Hive数据库hoteldata中的rawdata表中的数据导出到MySQL中执行命令[root@hadoop ~]# sqoop export \> --connect "jdbc:mysql://localhost:3306/hoteldata?userUnicode=true&characterEncoding=utf-8" \> --username root \> --password
2021-04-10 15:50:48
1081
原创 Spark-Shell操作
Spark-Shell操作spark-shell简述 spark-shell是REPL（Read-Eval-Print Loop，交互式解释器），它为我们提供了交互式执行环境，表达式计算完成以后就会立即输出结果，而不必等到整个程序运行完毕，因此可以及时查看中间结果并对程序进行修改，这样可以在很大程度上提升程序开发效率。spark-shell支持Scala和Python，Spark框架使用Scala语言开发的，使用spark-shell命令会默认进入Scala的交互式执行环境。如果要进入Python的交
2021-04-08 11:44:50
3325
原创 Hive常用函数
目录一、关系运算：… 41. 等值比较: =. 42. 不等值比较: <>. 43. 小于比较: <. 44. 小于等于比较: <=. 45. 大于比较: >. 56. 大于等于比较: >=. 57. 空值判断: IS NULL. 58. 非空判断: IS NOT NULL. 69. LIKE比较: LIKE. 610. JAVA的LIKE操作: RLIKE. 611. REGEXP操作: REGEXP. 7二、数学运算：… 71. 加法操作:
2021-03-25 22:14:27
207
原创 Hive常用命令
Hive常用命令Hive语法结构usage: hive -d,--define <key=value> Variable subsitution to apply to hive commands. e.g. -d A=B or --define A=B --database <databasename> Specify the database to use -e <
2021-03-24 22:21:09
631
原创 《C++程序设计》课设
《C++程序设计课程设计》课设任务（1） 从头开始， 编写一个完整的控制台模式下的可执行程序，实现题目要求的功能。（2） 撰写设计报告。课设要求（1） 编程实现每个题目所要求之功能； 并鼓励扩展功能；（2） 应使用数组、 结构体组织运行时数据， 使用动态内存分配、链表等数据结构存储运行时数量变化之数据；（3） 应使用磁盘文件存储程序所用之长久数据，部分题目会提供一些程序运行必须的数据文件；（4） 运用结构化思想，多用函数来实现相关功能。 运用面向对象编程思想， 使用类的封装特性将程序数
2021-03-23 11:51:37
1200
原创 Hadoop多Job串联
Hadoop多Job串联使用场景复杂的业务逻辑单个mapreduce程序无法完成，需要多个mapreduce程序串联处理。例子多个数据文件，首先需要合并数据文件对合并后的数据文件进行业务处理实现思路多Job串联执行可以通过mapreduce框架的JobControl实现。案例Depend.javaimport org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.lib.jobcontrol.Contr
2021-03-21 17:24:54
290
原创 Hadoop高效执行ToolRunner
Hadoop高效执行ToolRunner使用ToolRunner的原因关于 MapReduce 运行和参数配置的缺点将 MapReduce Job 配置参数写到 java 代码里，一旦变更意味着修改 java 文件源码、编译、打包、部署一连串事情。当 MapReduce 依赖配置文件的时候，需要手工编写 java 代码使用 DistributedCache 将其上传到 HDFS 中，以便 map 和 reduce 函数可以读取。当使用map 或 reduce 函数依赖第三方 jar 文件时，在命
2021-03-21 15:59:54
496
原创 Hadoop环境搭建
Hadoop环境搭建Hadoop简介HDFS工作机制组件介绍NameNodeNameNode用于存储、生成文件系统的元数据。运行一个实例。SecondaryNameNodeSecondaryNamenode是Namenode的一个热备，合并NameNode的edit logs到fsimage文件中。DataNodeDataNode用于存储实际的数据，将自己管理的数据块上报给NameNode ，运行多个实例。Yarn工作机制组件介绍1. ResourceM
2021-03-21 13:29:45
155
原创 Hadoop多文件合并
Hadoop多文件合并文件合并map的小表联大表合并使用场景；只适用于两个文件，并且一个大文件另一个小文件reducer 多文件合并实现思路map在job对象添加缓存文件，在mapper程序中读取缓存文件，在mapper端完成数据合并reduce在mapper端获取文件名识别文件，设置文件编号，输出key为连接条件，value为bean；在reducer端遍历value的bean，通过bean的文件编号提取属性，合并所有属性，输出数据，完成数据合并。
2021-03-20 22:38:51
976
原创 Hadoop自定义组件Combiner
Hadoop自定义组件CombinerCombiner组件介绍Combiner是一个特殊的Reduce组件 ,它处于Mapper和Reduce中间的一种组件,Combiner组件的父类就是Reducer.Combiner和Reducer之间的区别在于运行的位置 ,Reducer是每一个接收全局的Map Task 所输出的结果,Combiner一般是在MapTask的节点中运行.combiner每一个map都会产生大量的本地输出，Combiner的作用就是对map输出的结果先做一次合并，以较少的m
2021-03-19 17:35:14
296
原创 Hadoop自定义分组排序
Hadoop自定义分组排序使用场景分组聚合统计查询众数平均数最大值最小值极值方差标准差实现步骤分组继承WritableComparator接口重写compare（）方法必须重写父类的构造器，并且传入当前分组排序对象排序Java Bean实现WritableComparable接口重写compareTo()方法案例案例分析 订单Id相同则视为同一个订单，分组聚合后计算每个订单的总金额。继承WritableComparator接口，重写compare
2021-03-19 16:54:04
269
原创 Hadoop自定义分区
Hadoop自定义分区Hadoop组件partition简介partition的作用是将mapper输出的key/value划分成不同的partition。每个reducer对应一个partition。默认情况下，partitioner先计算key的散列值（hash值）。然后通过reducer个数执行取模运算： key.hashCode%(reducer个数)。这样能够随机地将整个key空间平均分发给每个reducer,同时也能确保不同 mapper产生的相同key能被分发到同一个reducer。
2021-03-19 15:53:47
432
原创 Hadoop 序列化
Hadoop 序列化Hadoop序列化机制序列化简介序列化序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。反序列化反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。Hadoop序列化机制的起源 Hadoop涉及到大量的数据（在Java中就是对象）的传输（IO），并且网络带宽稀缺，因此使用序列化机制迫不及待，序列化就是把内存中的对象转化成二进制流进行传输。数据序列化的要求有四个(紧凑
2021-03-18 21:00:53
857
原创 Hadoop 计数器
Hadoop 计数器计数器简介 计数器是用来记录job的执行进度和状态的。它的作用可以理解为日志。我们可以在程序的某个位置插入计数器，记录数据或者进度的变化情况,因为有时候程序如果是多线程的,那么就不容易调试,计数器也可以认为是程序的调试. 在实际生产代码中，常常需要将数据处理过程中遇到的不合规数据行进行全局计数，类似这种需求可以借助mapreduce框架中提供的全局计数器来实现 MapReduce 自带了许多默认Counter，如输入的字节数、输出的字节数、
2021-03-18 17:18:09
560
原创 Hadoop 命令
Hadoop 命令hadoop 启动命令命令功能start-dfs.sh启动HDFS服务start-yarn.sh启动Yarn服务start-all.sh集群模式启动所有服务，执行后会启动HDFS服务和Yarn服务hadoop 命令[root@hadoop ~]# hadoop -helpUsage: hadoop [--config confdir] [COMMAND | CLASSNAME] CLASSNAME run the
2021-03-18 15:45:19
615
原创 大数据简述
大数据简介早在1980年，著名未来学家托夫勒在其所著的《第三次浪潮》中就热情地将“大数据”称颂为“第三次浪潮的华彩乐章”。《自然》杂志在2008年9月推出了名为“大数据”的封面专栏。从2009年开始“大数据”才成为互联网技术行业中的热门词汇。最早应用“大数据”的是世界著名的管理咨询公司麦肯锡公司，它看到了各种网络平台记录的个人海量信息具备潜在的商业价值，于是投入大量人力物力进行调研，对“大数据”进行收集和分析的设想，在2011年6月发布了关于“大数据”的报告，该报告对“大数据”的影响、关键技术和应用领域等
2020-12-28 21:26:47
1090
金融客户特征指标数据产品购买数据
2023-01-08
《C++程序设计课程设计》——显示月历
2021-03-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人