- 博客(26)
- 资源 (22)
- 收藏
- 关注
原创 探索JVM底层奥秘之ClassLoader
探索JVM底层奥秘之ClassLoaderJVM 运行流程 1.如何跨平台(JVM针对不同的平台生成不同的虚拟机)Java源程序通过 Javac编程生成.class文件,加载到JVM内存的堆中,通过被JVM解析成能被不同平台支持的指令,2. JVM基本结构 类加载器 ClassLoader 符合要求负责加载到内存...
2019-07-18 16:45:46 319
原创 Spark单机安装
Spark单机安装目录 Spark单机安装一.下载二.解压三.进入安装目录四.进入conf目录文件五.编辑spark-env.sh文件六.进入BIN目录启动服务七.启动成...
2019-07-16 16:01:43 1166
原创 大数据阶段项目之项目实现
大数据阶段项目之项目实现目录 大数据阶段项目之项目实现一.启动Hadoop分布式集群(伪分布式)二.创建一个文件夹存储数据三.将文件收集到HDFS1.在Flume的data下创建zebra.conf2.利用flume收集数据,将收集的数据落地到HDFS系统中。3.执行命令,存储HDFS4.查看eclips...
2019-07-12 20:49:09 758
原创 大数据阶段项目之项目介绍
项目介绍一、zebra概述如图所示,电信运营商的用户通过连接到互联网中的各种网络设备访问一个网站时,其访问信息会通过基站在网络中传递,基站可以收集所有用户的访问日志数据 zebra是对电信运营商收集的用户上网数据进行分析的一个应用程序。通过分析得到的结果可以展现不同小区的上网详情 注:zebra本意为斑马,命名类似had...
2019-07-12 19:46:39 5648
原创 Hive个人心得笔记之Hive优化
Hive个人心得笔记之Hive优化一.Hive的优化Hive的优化小表缓存:将小表的放入内存中,减少对磁盘以及网络消耗 在做join查询的时候,如果有附带的查询条件,那么最好先用子查询将符合条件的数据查询出来之后再进行连接查询 - 目的:减少笛卡尔积的数据量 如果去重和聚合同时出现,尽量先用子查询进行去重,然后再进行聚合1....
2019-07-09 21:26:04 337
原创 Hive个人心得笔记之JDBC
Hive个人心得笔记之JDBC目录 Hive个人心得笔记之JDBC一.Hive的JDBC一、概述二、实现步骤:1.在服务器端开启HiveServer服务:一.Hive的JDBC一、概述hive实现了jdbc接口,所以可以通过java代码操作 hive的jd...
2019-07-09 20:19:50 931
原创 Hive个人心得笔记之内置函数、UDF
Hive个人心得笔记之内置函数目录 Hive个人心得笔记之内置函数一.内置函数二.运算符一、关系运算符二、算数运算符三、逻辑运算符三.函数一、数学函数二、类型转换函数三、日期函数四、条件函数五、字符串函数六、聚合函数四.explode一、概...
2019-07-09 19:38:24 639
原创 Hive个人心得笔记之表结构,数据类型,join
Hive个人心得笔记之表结构,数据类型,join目录 Hive个人心得笔记之表结构,数据类型,join一.连接-join1.建表:2.查询:3.inner join4.left join5.right join6.Full outer join7.left semi join1.创建...
2019-07-09 19:12:18 421
原创 Hive个人心得笔记之基础指令
Hive个人心得笔记之基础指令一.基础指令desc 表 查看表结构没有主键,可以重复提交手动提交 效率过低,可以通过文件形式传输 load data local inpath '/home/software/1.txt' into table stu; 通过加载文件数据到指定的表...
2019-07-09 18:42:27 269
原创 HBase之伪分布式安装
HBase之伪分布式安装 1.安装JDK 2.安装Hadoop的伪分布式或者完全分布式集群 3.上传或者下载HBASE的安装包 4.解压安装包:tar -xvf hbase-0.98.17-hadoop2-bin.tar.gz 5.进入HBASE安装目录下的子目录conf:cd hbase...
2019-07-09 18:41:56 249
原创 HBase之完全分布式安装
HBase完全分布式安装目录 HBase完全分布式安装1.下载到服务器2.下载解压3.修改conf/hbase-env.sh4.#修改JAVA_HOME:export JAVA_HOME=xxxx5.#修改Zookeeper和Hbase的协调模式,6.保存,...
2019-07-09 18:40:02 641
原创 Flume个人心得笔记之事务机制
Flume个人心得笔记之事务机制目录 Flume个人心得笔记之事务机制一、概述二、put事务流程三、Take事务一、概述Flume的事务机制与可靠性保证的实现,最核心的组件是Channel(通道)。如果没有Channel组件,而紧靠Source与...
2019-07-06 21:25:53 844
原创 Flume个人心得笔记之Process安装
Flume个人心得笔记之Process安装目录 Flume个人心得笔记之Process安装一.概述二.Default Sink Processor一、概述二、可配置选项说明三.Failover Sink Processor一、概述二、可配置项说明三、示例四.Load Balanci...
2019-07-06 21:09:46 348
原创 Flume个人心得笔记之Interceptor安装
Flume个人心得笔记之Interceptor安装目录 Flume个人心得笔记之Interceptor安装一.概述二.Timestamp Interceptor一、概述二、可配置项说明三、配置示例1.创建文件2.配置第一个节点,2,3默认扇出3.启动4.传输数据5.接收数据 -时间检测7.启动8.传输...
2019-07-06 21:03:49 248
原创 Flume个人心得笔记之Selector安装
Flume个人心得笔记之Selector安装目录 Flume个人心得笔记之Selector安装一.复制模式一、概述二、 可配置选项说明三、示例二.多路复用模式一、概述二、可配置选项说明三、示例1.概述2.配置第一个节点配置3.启动4.发送数据5.接收数据一.复制模式...
2019-07-06 20:17:21 380
原创 Hive个人心得笔记之安装
Hive个人心得笔记之安装目录 Hive个人心得笔记之安装一.Hive安装二.Mysql安装一.卸载删除Percona和Mysql相关依赖二.执行命令全部卸载三.下载安装即可四.下载完成五.安装客户端,服务端六.新增mysql用户组,并创建m...
2019-07-06 16:07:21 843
原创 Hive个人心得笔记之数据库和数据仓库
Hive个人心得笔记之数据库和数据仓库一、数据仓库和数据库对比 数据库 数据仓库 为线上系统提供实时数据 为离线分析存储历史数据 具有完整的增删改查的能力 只支持一次写入多次查询,不支持行级别的增删改 具有完整的事务能力 ...
2019-07-06 15:11:30 581
原创 Hive个人心得笔记
Hive个人心得笔记一、Hadoop开发存在的问题只能用java语言开发,如果是c语言或其他语言的程序员用Hadoop,存在语言门槛 需要对Hadoop底层原理,api比较了解才能做开发 开发调试比较麻烦二、Hive概述Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表,并提供完整...
2019-07-06 15:07:08 6333
原创 Flume个人心得笔记之Sink安装
Flume个人心得笔记之Sink安装目录 Flume个人心得笔记之Sink安装一.Logger Sink一、概述二、可配置项说明三、示例二.File_roll Sink一、概述二、可配置选项说明三、示例1.复制文本2.编辑配置3.启动指令 启动不了,杀死对应进程重...
2019-07-05 21:23:32 3060
原创 Flume个人心得笔记之Channel安装
Flume个人心得笔记之Channel安装全解目录 Flume个人心得笔记之Channel安装全解一.Memory Channel一、概述二、可配置选项说明三、示例:二.File Channel一、概述二、可配置选项说明三、示例1.复制一份文件2.编辑配置4.确保目录产生5.启动...
2019-07-05 20:22:35 1158
原创 Flume个人心得笔记之Source安装
Flume个人心得笔记之Source安装目录 Flume个人心得笔记之Source安装一.Flume基本案例一.启动命令二.下载文件并解压三、示例:1.创建一个Data文件夹2.编辑一个文件3.进入bin下 执行该指令4...
2019-07-05 20:09:05 525
原创 Flume个人心得笔记
一、概述Flume是Apache提供的开源的、分布式的、可靠的日志收集系统 能够有效的收集、聚合、传输大量的日志数据 Flume有2个版本:Flume-og(Flume0.9x)和Flume-ng(Flume1.X)。Flume-og和Flume-ng不兼容二.Flume的特性可靠性:事务型的数据传递,保证数据的可靠性。一个日志交给flume来处理,不会出现此日志丢失或未被处理的情况...
2019-07-05 19:23:15 847
原创 Hadoop分布式安装步骤 --实战
Hadoop全分布式架构图目录 Hadoop全分布式架构图一.永久关闭防火墙二.配置主机名1.编辑network文件:vim /etc/sysconfig/network2.将HOSTNAME属性改为指定的主机名,3.让network文件重新...
2019-07-03 11:10:22 571 2
原创 Hadoop个人心得笔记之HDFS读写删
HDFS读写删目录 HDFS读写删一、读流程1.代码实现二、写流程1.代码实现三、删流程1.代码实现一、读流程客户端发起RPC请求到NameNode NameNode在收到请求之后会先校验这个文件上是否存...
2019-07-02 21:03:29 300
原创 Hadoop个人心得笔记之DFS目录
DFS目录dfs目录在NameNode被格式化的时候产生 dfs目录的子目录:name、data、namesecondary in_use.lock标记当前节点已经在使用 HDFS第一次启动的时候,会默认在1min的时候进行一次合并,之后就按照更新条件啦进行合并 edits文件的开始和结束都会算作...
2019-07-02 20:43:19 1545 1
原创 Hadoop个人心得笔记之MapReduce
MapReduce目录 MapReduce一、概述二、序列化机制三、分区四、排序五、合并六、数据本地化策略七、job的执行流程八、Shuffle过程1.Map端的Shuffle...
2019-07-02 20:31:22 375
Easymall分布式V1.0.zip
2019-06-10
Strust2 项目
2018-03-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人