- 博客(89)
- 收藏
- 关注
RSS订阅转载 spark基础知识二
主要围绕spark的底层核心抽象RDD进行理解。主要包括以下几个方面RDD弹性分布式数据集的概念RDD弹性分布式数据集的五大属性RDD弹性分布式数据集的算子操作分类RDD弹性分布式数据集的算子操作练习1. RDD是什么RDD（Resilient Distributed Dataset）叫做==弹性分布式数据集==，是...
2019-10-07 21:34:00
311
转载 spark基础知识一
1. spark是什么Apache Spark™ is a unified analytics engine for large-scale data processing.spark是针对于大规模数据处理的统一分析引擎 spark是在Hadoop基础上的改进，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的...
2019-10-05 20:06:00
248
转载 scala基础知识
1. scala简介scala是运行在 JVM 上的多范式编程语言，同时支持面向对象和面向函数编程早期scala刚出现的时候，并没有怎么引起重视，随着Spark和Kafka这样基于scala的大数据框架的兴起，scala逐步进入大数据开发者的眼帘。scala的主要优势是它的表达性。官网地址http://www.scala-lang.org...
2019-10-04 20:32:00
321
转载 数据仓库之数据分析
1. 数据仓库基本介绍 英文名称为Data Warehouse，可简写为DW或DWH。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。它出于分析性报告和决策支持目的而创建。 数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用，这也是为什么叫“仓库”，而不叫“工厂”的原因...
2019-10-03 08:58:00
810
转载 hive基础知识五
Hive 主流文件存储格式对比1、存储文件的压缩比测试1.1 测试数据https://github.com/liufengji/Compression_Format_Datalog.txt 大小为18.1 M1.2 TextFile创建表，存储数据格式为TextFilecreate table log_text (trac...
2019-10-03 08:58:00
105
转载 hive基础知识四
1. hive表的数据压缩1.1 数据的压缩说明压缩模式评价可使用以下三种标准对压缩方式进行评价1、压缩比：压缩比越高，压缩后文件越小，所以压缩比越高越好2、压缩时间：越快越好3、已经压缩的格式文件是否可以再分割：可以分割的格式允许单一文件由多个Mapper程序处理，可以更好的并行化常见压...
2019-10-03 08:57:00
212
转载 hive基础知识三
1. 基本查询注意SQL 语言大小写不敏感SQL 可以写在一行或者多行关键字不能被缩写，也不能分行各子句一般要分行写使用缩进提高语句的可读性1.1 全表和特定列查询全表查询select * from student;选择特定列查询sele...
2019-10-03 08:08:00
120
转载 hive基础知识二
1. Hive的分区表1.1 hive的分区表的概念在文件系统上建立文件夹，把表的数据放在不同文件夹下面，加快查询速度。1.2 hive分区表的构建创建一个分区字段的分区表hive> create table student_partition1( id int, name string, age ...
2019-10-03 08:04:00
127
转载 hive基础知识一
1. Hive是什么1.1 hive的概念Hive：由Facebook开源，用于解决海量（结构化日志）的数据统计。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。本质是：将Hive SQL转化成MapReduce程序1.2 Hive与数据库的区别Hive 具有 SQL 数据库的外表，但应...
2019-10-03 08:03:00
101
转载 hbase基础知识一
1. hbase是什么漫画学习hbase----最易懂的Hbase架构原理解析http://developer.51cto.com/art/201904/595698.htm1.1 hbase的概念hbase基于Google的BigTable论文，是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。在需要实时读写随机访问...
2019-09-01 21:01:00
122
转载 启动hadoop报does not contain a valid host:port authority:node2_1:9000
报错：启动hadoop报does not contain a valid host:port authority:node2_1:9000原因：主机的hostname不合法，修改为不包含着‘.’ '/' '_'等非法字符。转载于:https://www.cnblogs.com/lojun/p/11236852.html...
2019-07-24 11:22:00
503
转载 linux命令之------部分细节点
创建文件夹/文件命令以及清除模式mkdir +文件夹名字touch +文件名字rm -fr 删除文件，文件夹 -f强制删除 -r是递归查询linux下所有启动的线程： ps-ef|grep javaHadoop下日志文件logs内容，（位于/opt/bigdata/hadoop-3.2.1/logs/hadoop-hadoop-namenode-nod...
2019-07-24 11:21:00
84
转载 linux命令之------which命令/cp命令/Head及tail命令/grep命令/pwd命令/cd命令/df命令/mkdir命令/mount及umount命令/ls命令/history命令/...
which命令1) 作用：搜索某个系统命令的位置。2) 案例：查询vi命令路径：which vicp命令1)作用：用于复制文件或目录；2）-a：此选项通常使用在复制目录时使用，它保留链接/文件属性，并且复制目录下的所有内容。其作用等于dpR参数组合。3）-d：复制时保留链接。这里所说的链接相当于window系统中的快捷方式。4）-f：覆盖已经...
2019-07-24 11:12:00
202
转载 linux命令之------touch命令
touch命令1) 作用：用于修改文件或目录的时间属性，包括存取时间和更改时间。若文件不存在，系统会建立一个新的文件。2) -a：改变档案的读取时间记录；3) -m：改变档案的修改时间记录；4）-c：假如目的档案不存在，不会建立新的档案。与--no-create的效果一样；5）-f：不使用，是为了与其他unix系统相容性而保留。6）-r：使用参考...
2019-07-24 11:06:00
84
转载 linux命令之------Mv命令
Mv命令1）作用：用来为文件或目录改名/或将文件或目录一如其他位置2）-i：若指定目录已有同名文件，则先询问是否覆盖旧文件；3）-f：在mv操作要覆盖某已有的目标文件时，不给任何指示；4）案例：将文件aaa更名为bbbmv aaa bbb将/usr/student下的所有文件和目录移动到当前目录下：mv /usr/student/* .转载于:https...
2019-07-24 11:05:00
326
转载 linux命令之------rm命令
rm命令1) 作用：用于删除一个文件或者目录；2) -i：删除前逐一询问确认；3) -f：即使原档案属性设为只读，亦直接删除，无需逐一确认；4）-r：将目录及以下之档案亦逐一删除；5）案例：删除test.txt文件：rm test.txt；rm -rf bbb递归删除文件夹bbb下所有文件转载于:https://www.cnblogs.com/l...
2019-07-24 11:05:00
91
转载 linux命令之------More命令
More命令 1）作用：命令类似cat，不过会以一页一页的形式显示，更方便使用者逐页阅读。 2）-num：一次显示的行数 3）-d：提示使用者，在画面下方显示【Press space to continue，’q’to quit】,如果使用者按错键，则会显示【Press ‘h’for instructions】而不是‘哔’声； 4）l：取消遇见特殊字元^L(送纸字...
2019-07-24 11:03:00
102
转载 linux命令之------Less命令
Less命令1）作用：less与more类似，但使用less可以随意浏览文件，而more仅能向前移动，却不能向后移动，而且less在查看之前不会加载整个文件。2）ctrl+F 向前移动一屏；3）ctrl+B 向后移动一屏；4）ctrl+D 向前移动半屏；5）ctrl+U 向后移动半屏转载于:https://www.cnblogs.com/lojun/p/11236...
2019-07-24 11:03:00
120
转载 linux命令之------Find命令
Find命令1）作用：用来在指定目录下查找文件。2）案例：将当前目录及其子目录下所有延申档名是c的文件列出来。Find -name “*.txt” 其中：*表示通配任意个字符；？表示通配单个字符。转载于:https://www.cnblogs.com/lojun/p/11236683.html...
2019-07-24 11:02:00
85
转载 linux命令之------Chown命令
Chown命令 1） 作用：将指定文件的拥有者改为指定的用户或组。 2） -c：显示更改的部分的信息。 3）-f：忽略错误信息。 4）-h：修复符号链接。 5）-v：显示详细的处理信息。 6）-R：处理指定目录以及其子目录下的所有文件。转载于:https://www.cnblogs.com/lojun/p/11236677.html...
2019-07-24 11:01:00
78
转载 linux命令之------Chmod命令
Chmod命令 1）作用：linux和unix的文件调用权限分为三级：文件拥有者/群组/其他。利用chmod可以控制文件如何被他人所调用。（主要就是修改文件夹，文件的权限） 2）U表示该文件的拥有者，g表示与该文件的拥有者属于同一个群体者，o表示其他以外的人，a表示这三者皆是。 3）+表示增加权限，-表示取消权限，=表示唯一设定权限。 4）r或4表示可读取，w或2...
2019-07-24 11:00:00
93
转载 linux命令之------Wc命令（word count）
Wc命令（word count）1)作用：用于计算字数；2）-c或--bytes或--chars只显示Bytes数；3）-l和—line显示行号；4）-w或words只显示字数；5）--help在线帮助；6）--version显示版本信息；7) 示例：wc words。说明：行数 单词数 bytes数 文件名转载于:https://www.c...
2019-07-24 10:59:00
112
转载 linux命令之------Cat命令
Cat命令作用：cat命令用于连接文件并打印，查看文件内容； -n或--number:由1开始对所有输出的行数编号； -b或--number-nonblank:和-n相似，只不过对于空白行不做编号； -s或--squeeze-blank:当遇到有连续两行以上的空白行，就代换为一行的空白行； -v或--show-nonprinting:使用^和M-符合，除了LF...
2019-07-24 10:59:00
78
转载 linux命令之------Linux文档编辑
1.Vi和vim三种模式 (1)命令模式：移动光标 (2)插入模式：编辑文档 (3)末行模式：保存退出不同模式操作示意图： 其中wq是保存退出，wq!强制保存退出；q不保存退出；q!强制不保存退出。 q使用场景：当编辑一个文档后，再次进入该文档中，而此次只是查看文档的内容，并不做任何编辑操作，然后退出来可以使用这个命令操作。命令模式：常用操...
2019-07-24 10:52:00
63
转载 linux命令之------Linux文件系统具体目录
Linux文件系统具体目录(1)/ Linux文件系统的入口，也是处于最高一级的目录(2)/bin 系统所需要的那些命令处于此目录，比如Is，cp，mkdir等命令；功能和/usr/bin类似，这个目录中的文件都是可以执行的，普通用户都可以使用的命令，作为基础系统所需要的最基础的命令就是放在这里。(3)/boot linux的内核及引导系统程序所需要的文件目录，比如vm...
2019-07-24 10:47:00
51
转载 linux命令之------快捷键说明
linux快捷键说明(1)命令或目录补齐：Tab(2)遍历历史记录：history上移：ctrl+p，下移：ctrl+n(3)光标移动左移：ctrl+b；右移：ctrl+f；移到首部：ctrl+a；移动到尾部：ctrl+e转载于:https://www.cnblogs.com/lojun/p/11236493.html...
2019-07-24 10:43:00
57
转载 linux命令之------Tar解压缩
Tar解压缩 作用：将解压缩后缀名为tar的压缩包 -f<备份文件>或—file=<备份文件>指定备份文件 -v或-verbose显示指令执行过程 -x或-extract或-get从备份文件中还原文件 -z或-gzip或-ungzip通过gzip指令处理本分文件 -C<目的目录>或-directory=<目的目...
2019-07-24 10:42:00
69
转载 CentOS7如何关闭防火墙
CentOS7如何关闭防火墙查看防火墙状态 使用命令：systemctl status firewalld.service关闭运行的防火墙 使用命令：systemctl stop firewalld.service 禁止防火墙服务器 输入命令：systemctl disable firewalld.service转载于:https://www.cn...
2019-07-24 10:38:00
40
转载 centos7中运行ifconfig提示-bash: ifconfig: command not found
centos7中运行ifconfig提示-bash: ifconfig: command not found 查看/sbin/下是否有ifconfig，若没有通过如下命令安装 sudo yum install net-tools转载于:https://www.cnblogs.com/lojun/p/11236433.html...
2019-07-24 10:37:00
153
转载 System.getProperty、PropConfig.loadConfig应用
1、获取项目下制定位置（System.getProperty("admin.root")）：在web.xml中配置webAppRootKey<context-param> <param-name>webAppRootKey</param-name> <param-value>aaa.root</para...
2019-06-01 15:51:00
155
转载 Java高并发syncronized深入理解
1.Synchronized的作用： 能够保证在同一时刻最多只有一个线程执行该段代码，以达到保证并发安全的效果。2.地位： 1)Synchronized是java的关键字，并java的怨言原生支持； 2)最基础的互斥同步手段； 3)并发编程中的元老级角色，是并发编程的必学内容。3.不使用并发手段会有什么后果？ （1）两个线程同时a++,最后结果会...
2019-04-14 17:42:00
242
转载 json的工具以及浏览器排序问题
浏览器中，所有涉及json的工具会按照键进行排序，这个与实际的查询的数组的顺序有出入，见下图：转载于:https://www.cnblogs.com/lojun/p/10666730.html...
2019-04-07 20:01:00
288
转载 Mockito: InvalidUseOfMatchersException
异常报错信息：org.mockito.exceptions.misusing.InvalidUseOfMatchersException: Invalid use of argument matchers!4 matchers expected, 3 recorded:-> at com.yihaodian.wap.service.AddressSer...
2018-09-25 22:38:00
1758
转载 Mysql分区的技能
1、查看分区信息（1）explain partitions select * from TDM_YTMF_BRAND_CATE_GDS_STC_D语法：explain partitions select 语句（2） SELECT partition_name part, partition_expression expr, ...
2018-09-25 22:32:00
75
转载 HBase数据迁移至Hive
背景：需要将HBase中表xyz（列簇cf1，列val）迁移至Hive1. 建立Hive和HBase的映射关系 1.1 运行hive shell进入hive命令行模式，运行如下脚本CREATE EXTERNAL TABLE hbase_student(key int, value string)STORED BY 'org.apache.hadoop.hive....
2018-09-25 22:24:00
428
转载 Shell或notepad连接虚拟机操作
首先在linux终端中查看自己的ip：ifconfig -a一、Xshell的配置如下： 上图中：处填写的是昵称，方便记住这个会话连接的是哪个系统。要选择SSH，因为安装的是OpenSSH处填写的是虚拟机该系统的ip，也就是你通过命令ifconfig -a获得的IP端口号，一般默认22端口，一般不需要改。 上图中填写你的虚拟机该系统...
2018-09-25 21:56:00
222
转载 json的工具按照键进行排序
浏览器中，所有涉及json的工具会按照键进行排序，这个与实际的查询的数组的顺序有出入，见下图：转载于:https://www.cnblogs.com/lojun/p/9665137.html
2018-09-17 21:47:00
145
转载 Eclipse中SVN修改的*星号没了，解决方法
Eclipse中SVN修改的*星号没了，解决方法打开Preference第一步：去掉外加的 ">"第二步：勾选Outgoing changes 这样做之后，"*"星号就出来了。如果还出不来，那就看看这下一步：第三步：检查是否开启SVN标签转载于:https://www.cnblogs.com/lojun/p/9664638.html...
2018-09-17 20:24:00
99
转载 同时安装不同版本JDK遇到的问题
安装JDK1.8出现 Error opening registry key'software\Javasoft\Java Runtime Environment' java安装1.8后的问题：之前安装了jdk1.7和jdk1.6，之后又安装jdk1.8，然后执行java -version，打印错误信息：如下 Error: Registry key ‘Software\JavaSof...
2018-09-17 20:03:00
91
转载 JBOSS启动报错解决方案
同一个jboss下不可以放不同的项目包，否则报错：注意：如果后期使用，注意删除上图的本地文件，重新加载即可。转载于:https://www.cnblogs.com/lojun/p/9398525.html...
2018-07-31 21:58:00
376
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人