- 博客(23)
- 收藏
- 关注
RSS订阅原创 大数据框架相关知识复习
数据存储和管理：利用分布式文件系统，数据仓库，关系型数据库，NoSQL数据库，云数据库等对结构化，半结构化，非结构化数据进行存储和管理。非结构化数据：没有固定的结构，例如文件，视频。流计算：利用Flume,Storm,Stream,Puma进行针对流数据的实时计算。半结构化数据：具有一定结构，又有一定的灵活可变性。IT基础设施层，数据源层，数据管理层，数据分析层，数据平台层，数据应用层。结构化数据：具有固定的结构，例如关系型数据库中的各种表。图计算：针对大规模图结构的数据的处理,利用GraphX等。
2024-06-24 08:44:07
262
原创 R语言学习笔记
emample("foo") 函数foo的使用示例(引号可省)help("foo") 或者?apropos("foo",mode="function") 列出名称中含有foo的所有可用函数。作图美观，完全免费，算法覆盖广，软件扩展易，强大的社区支持，非过程模式，交互性，统计学特性。架构角度：R是为统计计算和图形显示的而设计的一个系统。或者setwd("D:\\R")编程角度：R语言是面向对象的向量化语言。
2024-06-24 08:43:45
346
原创 conda环境管理的相关命令 ，superset环境配置
conda create -n superset python=3.7 #创建superset环境。删除一个环境(慎重使用)：conda remove -n env_name --all。创建环境：conda create -n env_name python=3.7。1.激活superset环境: conda activate superset。查看所有环境：conda info --envs。superset的环境配置完成。
2023-08-19 12:15:40
163
原创 Anaconda与Miniconda
conda是一个开源的包，可以在同一台机器上安装不同Python版本的软件包，在不同的Python环境之间切换。Anaconda包括Conda，Python以及一系列工具包，如Pandas,Numpy等.利用filezilla上传到xshell的software目录下的superset目录。Miniconda包括Conda,Python.可以看到Python的版本是最新的版本了。专属于Miniconda的一段代码。如图显示即为安装成功。如图显示即为上传成功。
2023-08-19 11:46:12
334
原创 SQL---行转列，列转行（concat,concat_ws,collect_set）
concat_ws则不然，只要有一个字符串不为null，就不会返回null,concat_ws需要指定分隔符。concat_ws也是将两个字符串连接成一个字符串,concat_ws需要指定分隔符。concat所要连接的字符串中出现了null，则整体连接结果为null。collect_set是将某列元素转化为数组返回。concat函数用于将两个字符串连接成一个字符串。注意:collect_set无序且会去重。
2023-06-13 16:32:10
999
原创 SQL语句----case when
case when 是mySQL里面的控制流语句。person_info,包含员工姓名，星座，血型。emp_sex,包含员工姓名，员工部门，性别。（1）简单case when。（2）case搜索函数法。
2023-06-13 15:13:45
141
原创 大数据存储复习
一、Linux操作who am iwho mom likes命令：cdcd ~ 切换到home目录cd - 切换到上次访问的目录cd / 切换到根目录cd .. 切换到上一级目录 或者cd ../命令:lsls 查看当前目录下的所有目录和文件ls -a 查看当前目录显得所有目录和文件（包含隐藏文件）ls -l 或者 ll 列表查看（当前目录下的所有目录和文件）ls /dir 查看指定目录下的所有目录和文件（例如:ls /usr）命令:m
2023-06-06 15:45:36
98
原创 Python之Numpy库知识大全
目录1.数组概念及对象属性2.数组的创建常用函数创建数组已知尺度大小创建数组数组对象的属性数组维度的改变将一维数组转化为列表：数组的组合操作数组的分割操作3.数组的索引一维数组的基本索引二维数组的切片索引二维数组增删改查操作4.数组的矢量化布尔型索引一元算数函数二元运算函数二元函数--meshgrid函数三元函数集合逻辑 线性代数 专用函数5.Numpy文件操作读取文件写入文件NumPy（Numerical Python的简称）是高性能科学计算和数据分析的基 数组的优势：数组创建的主要方式基
2022-12-04 17:24:46
2172
2
原创 【Java+IO流】实现图书馆管理系统
1.Library类import java.util.Scanner;public class Library { Scanner sc = new Scanner(System.in); //登录函数：显示登录界面进行选择登录 public void login() { int count = 0; Person p = null; Person02 p2=null; Person03 p3=null;
2022-05-30 20:45:16
722
原创 java学习实用方法，面向对象的进阶知识点（05）
1.方法重写（override）主函数:main (){ House h=new Horse() ; h.run(); //输出:得儿驾！得儿驾！（覆盖了父类中的同名函数）} //父类class Vehicle{public: void run(){System.out.println("跑");}public void stop{System.out.println("停下！"); }} //子类
2022-05-14 09:54:41
190
原创 java学习（04）
1.java继承（关键字：extends）class Person{............}class Student extends Person{................}java语言中类只有单继承，接口才有多继承2.instanceof的使用（用于判断一个对象是否为某个类的对象）主函数：System.out.println(s instanceof Student ); //判断s是否为Student的一个对象输出：true3.数组声明
2022-05-08 18:15:39
318
原创 java学习（03）
1.获取随机数的方法：主函数：double d=Math.random(); //打印[0,1）中的随机数int h=(int)(6*Math.random+1); //打印[1,6]中的随机整数2.使用Math主函数：double r=4;double area=Math.PI*Math.pow(r,2);System.out.println(area); //输出PI*r*r的值3.while循环（先判断后执行）主函数
2022-05-08 18:04:13
268
原创 初学java
我在大学主要学习的编程语言是C++，初学java，感觉java与C++有很多相似点。java更加简练高效，但C++则更加详细，易于理解，java似乎兼顾了C++与C语言的优点，将两者冗余复杂的地方简化甚至删除。C++是面向过程与面向对象进行编程的，而Java则全部是面向对象进行编程，更加实用，贴近生活。java编译器有IDEA，eclipse等，利用Java编译器进行编程，需要先给电脑配置JDK环境，配置环境变量Path（环境变量是在操作系统中一个具有特定名字的对象， 它包含了一个或者多个应用程
2022-05-06 23:39:03
498
原创 java的特性和优势（java与C++的区分）
目录·跨平台/可移植性·安全性·面向对象·简单性·高性能·分布式·多线程·健壮性·跨平台/可移植性 这是Java的核心优势。Java在设计时就很注重移植和跨平台性。比如：Java的int永远都是32位。不像C++可能是16，32，可能是根据编译器厂商规定的变化。这样的话程序的移植就会非常麻烦。·安全性 Java适合于网络/分布式环境，为了达到这个目标，在安全性方面投入了很大的精力，使Java可以很容易构建防病毒，防篡改的系统。·面向...
2022-05-06 23:12:25
729
1
原创 java与c++的不同处（java基础学习之数据类型与运算符02）
目录目录6.运算符7.运算规则8.转义字符9.取模运算10.字符型转为数字11.逻辑运算符12.位运算符13.字符串连接符14.条件运算符15.强制类型转换16.常见数值溢出问题17.Scanner获得输入6.运算符算术运算符中 + - * / % 属于二元运算符（指需要两个操作数才能完成的运算）7.运算规则（1）操作数有一个long型，则结果为long型（2）没有long时结果为int，即使全为byte，short（3
2022-05-04 21:55:39
1362
原创 JAVA基础学习之数据类型与运算符（01）
数据类型与运算符1.注释在Java编程中，用注释帮助理解代码的用途不可或缺，从而提高程序的可读性。用到的注释有：单行注释 //多行注释 /*...*/文档注释 /**....*/2.标识符Java编程中标识符的规则与C++语言有所不同java语言的标识符以字母，下划线_，美元符号$开头其余部分则是数字，下划线，$，数字的自由组合，标识符不可以是java关键字。合法的:int $=3;int _a=4;int a=5;不合法的:int #a=3; i
2022-05-04 17:06:06
1073
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人