大数据技术
wong_faye
这个作者很懒,什么都没留下…
展开
-
[大数据技术] 淘宝双11数据分析与预测实验
1.本地数据集上传到数据仓库Hive1.1 实验数据集通过上面的命令,就进入到了data_format.zip文件所在的目录,并且可以看到有个data_format.zip文件。$ cd /usr/local$ ls$ sudo mkdir dbtaobao$ //下面给hadoop用户赋予针对dbtaobao目录的各种操作权限$ sudo chown -R hadoop:hadoop ./dbtaobao$ cd dbtaobao$ //下面创建一个dataset目录,用于保存数据集原创 2020-08-18 10:44:50 · 7501 阅读 · 3 评论 -
[大数据技术] Hive的常用HiveQL操作
1.Hive基本数据类型Hive支持基本数据类型和复杂类型,基本数据类型主要有数值类型(INT、FLOAT、DOUBLE)、布尔型和字符串,复杂类型有三种:ARRAY、MAP和STRUCT。(1)基本数据类型TINYINY:1个字节SMALLINT:2个字节INT:4个字节BIGINT:8个字节BOOLEAN:TRUE/FALSEFLOAT:4个字节,单精度浮点型DOUBLE:8个字节,双精度浮点型STRING:字符串(2)复杂数据类型ARRAY:有序字段MAP:无序字段S原创 2020-08-17 19:18:04 · 1538 阅读 · 0 评论 -
[大数据技术] 问题记录
1.sudo: netstat:找不到命令解决方法$ sudo apt-get install net-tolls2.E: 无法获得锁 /var/lib/apt/lists/lock - open (11: 资源暂时不可用) E: 无法对目录 /var/lib/apt/lists/ 加锁解决方法$ sudo rm /var/lib/apt/lists/lock3.更换国内源备份原始文件sources.list$ sudo cp /etc/apt/sources.list原创 2020-08-16 22:17:48 · 235 阅读 · 0 评论 -
[大数据技术] 大数据组件命令
0.Linux$ sudo apt-get update # 更新软件源1.Hadoop- 启动$ cd /usr/local/hadoop$ ./sbin/start-dfs.sh- 查看是否启动成功$ jps- 关闭$ ./sbin/stop-dfs.sh2.MySQL- 安装mysql$ sudo apt-get install mysql-server- 启动$ service mysql start- 确认是否启动成功$ sudo netstat -ta原创 2020-08-16 22:09:41 · 119 阅读 · 0 评论