![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
左上晨
君子终日乾乾,夕惕若,厉,无咎。
展开
-
kettle使用介绍
kettle使用介绍 https://www.cnblogs.com/zhangchenliang/p/4179775.html转载 2018-10-12 09:48:10 · 105 阅读 · 0 评论 -
Java中调用Kafka
使用的是kafka 0.11.0.0版本。 生产者: import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.clients.producer.ProducerRecord; ...原创 2019-01-11 17:48:24 · 1640 阅读 · 0 评论 -
docker常用命令
docker常用命令: 关于镜像的: 1. 查看docker版本:docker -verison 2. 拉取镜像:docker pull registry.hub.docker.com/ubuntu:12.04 3. 显示已有镜像:docker images 4. 指定使用镜像启动一个容器:docker run -t -i ubuntu:14.04 /bin/ba...原创 2018-12-12 16:01:32 · 153 阅读 · 0 评论 -
数据可视化图表
数据可视化图表,比如折线图、柱状图、多维度分析,可以使用Echarts,教程可以参考:http://www.echartsjs.com/tutorial.html#5%20%E5%88%86%E9%92%9F%E4%B8%8A%E6%89%8B%20ECharts...原创 2018-11-07 15:24:35 · 199 阅读 · 0 评论 -
网站点击流数据分析
网站点击流数据分析: 1. WEB访问日志,即指用户访问网站时的所有访问、浏览、点击行为数据。比如点击了哪一个链接,在哪个网页停留时间最多,采用了哪个搜索项、总体浏览时间等。而所有这些信息都可被保存在网站日志中。通过分析这些数据,可以获知许多对网站运营至关重要的信息。采集的数据越全面,分析就能越精准; 2. 日志的生成渠道: 1)是网站的web服务器所记录的web访问日志; 2...原创 2018-11-06 18:02:02 · 2307 阅读 · 0 评论 -
大数据学习记录(hadoop hive flume azkaban sqoop)
大数据学习记录(hadoop hive flume azkaban sqoop) 1. hadoop对海量数据进行分布式处理 2. 核心组件:HDFS(分布式文件系统)、YARN(运算资源调度系统)、MAPREDUCE(分布式运算编程框架) 3. HIVE:基于大数据技术(文件系统+运算框架)的SQL数据仓库工具 4. HBASE:基于HADOOP的分布式海量数据库 5. Mahout:基于ma...原创 2018-11-01 17:17:15 · 626 阅读 · 0 评论 -
HDFS常用命令(hadoop)
格式化namenode和datanode: hadoop namenode -format hadoop datanode -format -help 功能:输出这个命令参数手册 -ls 功能:显示目录信息 示例: hadoop fs -ls hdfs://hadoop-server01:9000/ 备注:这些参数中,所有的h...转载 2018-10-19 09:51:25 · 189 阅读 · 0 评论 -
hadoop fs 命令使用(转)
转载自:https://blog.csdn.net/mulangren1988/article/details/54860924 hadoop 文件系统配置文件按如下查找顺序 1. hadoop jar里的hadoop-default.xml 2. $HADOOP_CONF_DIR下的hadoop-default.xml 3. $HADOOP_CONF_DIR下的hadoop-site.xm...转载 2018-10-19 09:31:22 · 206 阅读 · 0 评论 -
HDFS的java操作
HDFS的java操作 hdfs在生产应用中主要是客户端的开发,其核心步骤是从hdfs提供的api中构造一个HDFS的访问客户端对象,然后通过该客户端对象操作(增删改查)HDFS上的文件 1.1 搭建开发环境 1、引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> <a...转载 2018-10-18 16:57:19 · 233 阅读 · 0 评论 -
Storm常用命令
Storm常用命令: 1. 提交任务命令格式:storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】 bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount 2. 杀死任务命令格...原创 2019-01-07 14:54:45 · 638 阅读 · 0 评论