大数据
文章平均质量分 54
101之歌
一个屌丝搬砖程序员
展开
-
CDH5的卸载
CDH5的卸载原创 2017-11-06 23:03:59 · 330 阅读 · 0 评论 -
hue集成遇到的问题
sqoop 报错:Could not get connectors拷贝sqoop.properties 文件至 /etc/sqoop2/conf 目录sqoop 报错:Could not start job.报错: Could not start job. exception ERROR {“message”:null,”error-code-class”:”or...原创 2018-02-13 15:58:44 · 1238 阅读 · 1 评论 -
Hue升级后的问题
编译报错File "/opt/cloudera/parcels/CDH-5.9.0-1.cdh5.9.0.p0.23/lib/hue/build/env/lib/python2.6/site-packages/MySQL_python-1.2.5-py2.6-linux-x86_64.egg/MySQLdb/connections.py", line 193, in __init__ ...原创 2018-02-13 15:59:03 · 548 阅读 · 0 评论 -
hue升级文档
首先,确定我们的两个安装包:hue.zip(这个包也可以从我们的git仓库下载,具体链接我会发给你)huetool.zip然后,在CDH的管理界面停止hue的服务:1,进入hue2,选择实例3,选择Hue Server4,选择“操作”–>“停止此Hue Server”停止了hue服务以后,进入shell,开始安装kerberos:1,解压huet...原创 2018-02-13 15:59:20 · 725 阅读 · 0 评论 -
Kerberos简介
Kerberos简介Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”系统设计上采用客户端/服务器结构与DES加密技术,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认证。可以用于防止窃听、防止replay攻击、保护数据完整性等场合,是一种应用对称密钥体制进行密钥管理的系统。Kerberos的原理简介(来自百度百科)简要大概地说一下Kerbero...原创 2018-02-13 15:59:44 · 462 阅读 · 0 评论 -
Sentry权限相关知识点
大数据平台安全体系的四个层次说起:外围安全、数据安全、访问安全以及访问行为监控.外围安全技术多指传统意义上提到的网络安全技术,如防火墙,登陆认证等;数据安全从狭义上说包括对用户数据的加解密,又可细分为存储加密和传输加密;还包括用户数据的脱敏,脱敏可以看做“轻量级”的数据加密。如某人的 生日为“2014-12-12”,脱敏后的数据为“2014-x-x”。数据的轮廓依然存在,但已无法精确定位...原创 2018-02-13 16:00:07 · 1407 阅读 · 0 评论 -
平台3-0升级文档
平台3.0升级文档一、软件安装1、python2.6 或者 python2.72、squid(保证每个节点能上外网)$ yum install squid3、编辑slaves和master文件4、yum install lrzsz5、EPEL源 RHEL/CentOS 6 64-Bit$ wget http://download....转载 2018-02-13 16:00:43 · 277 阅读 · 0 评论 -
项目总结
框架项目后台采用Springboot+Mybatis的架构,前端使用的Vue框架和ECharts组件,使用Maven管理项目版本,使用SVN对版本进行控制,采用CDH作为数据分析和清洗的工具,CDH的版本采用CDH5.9.0版本,使用的Hadoop组件主要是:底层的分布式文件存储系统HDFS,上层的数据统计,数据清洗用的Hive,数据分析使用的Spark,数据库之间的数据库导入导出使用的Sqo...原创 2018-02-13 16:01:42 · 181 阅读 · 0 评论 -
Hadoop的生态系统
Hadoop是谷歌大数据解决方案的开源实现,使用Java语言开发,其核心主要是两个部分:分布式文件系统(HDFS)和MapReduce。Hive是在HDFS和MapReduce上提供一个类似于SQL风格的抽象层,非常容易上手。用户可以用数据库,表的概念来管理数据,使用SQL来访问,计算,不需要写MapReduce程序,SQL语法非常类似于关系型数据库,支持常见的select,join,grou...原创 2018-02-13 16:25:38 · 230 阅读 · 0 评论 -
升级hue遇到的问题
LDAP的密码不正确:尝试修改密码(测试没有效果):ldappasswd -x -D 'uid=ldapadmin,ou=people,dc=sunmnet,dc=com' -w password'uid=ldapadmin,ou=people,dc=sunmnet,dc=com' -S升级hue完成后对hive进行测试:给HDFS权限:kinit hdfs输入密...原创 2018-02-13 16:01:25 · 640 阅读 · 0 评论 -
hive概念
hive概念 hive的兼容性hive日志启动hive hive中除了保存真正的数据以外还要额外保存用来描述库、表、数据的数据,称为hive的元数据。这些元数据又存放在何处呢?其实就是存放在metastore中如果不修改配置hive默认使用内置的derby数据库存储元数据。derby是apache开发的基于java的文件型数据库。可以检查之前执行命令的目...原创 2018-02-23 17:08:40 · 486 阅读 · 0 评论 -
sqoop把oracle数据导入hive出现的问题
问题描述: 使用sqoop将oracle数据库的数据导入到hive中,一直提示“表或者视图不存在”,经检查,数据库,用户名,密码均无误,但是仍然无法导入解决方案:这个我第一次的import语句:sqoop import --hive-import --connectjdbc:oracle:thin:@192.168.1.1:1521:qxf --username qx...原创 2018-03-21 18:01:29 · 1244 阅读 · 0 评论 -
Hadoop学习路线
课程一、大数据运维之Linux基础 本部分是基础课程,帮大家进入大数据领域打好Linux基础,以便更好地学习Hadoop,hbase,NoSQL,Spark,Storm,docker,openstack等众多课程。因为企业 中的项目基本上都是使用Linux环境下搭建或部署的。1)Linux系统概述 2)系统安装及相关配置 3)Linux网络基础 4)OpenSSH实现网络安全连接...转载 2018-02-13 15:58:18 · 368 阅读 · 0 评论 -
CDH内置的数据库
采用Cloudera-Manager安装CDH时,采用内嵌数据库各数据库用户密码的保存位置 https://yq.aliyun.com/articles/434771,scm数据库的用户名,密码 [root@master ~]# more /etc/cloudera-scm-server/db.propertiesAuto-generated by initialize_embed...转载 2018-02-13 15:57:57 · 3810 阅读 · 0 评论 -
CDH集成LDAP配置
转载自JavaChen Blog,作者:JavaChen原文链接地址:http://blog.javachen.com/2014/11/12/config-ldap-with-kerberos-in-cdh-hadoop.html参考上面基本配置,添加了部分配置本文主要记录 cdh hadoop 集群集成 ldap 的过程,这里 ldap 安装的是 OpenLDAP 。LD...原创 2018-02-13 15:57:38 · 5467 阅读 · 4 评论 -
HDFS中NameNode和Secondary NameNode
HDFS文件系统原创 2017-11-10 11:58:54 · 522 阅读 · 0 评论 -
hdfs笔记
hdfs笔记原创 2017-11-10 12:03:37 · 187 阅读 · 0 评论 -
从txt文本中导入数据到Hive中
hive原创 2017-11-16 14:21:15 · 4736 阅读 · 1 评论 -
Hive中的insert into语句
hive中的insert into语句原创 2017-11-16 17:37:30 · 49574 阅读 · 0 评论 -
CDH5离线文件大数据平台的搭建
CDH:全称Cloudera’s Distribution Including Apache Hadoop CDH版本衍化 hadoop是一个开源项目,所以很多公司在这个基础进行商业化,Cloudera对hadoop做了相应的改变。 Cloudera公司的发行版,我们将该版本称为CDH(Cloudera Distribution Hadoop)。截至目前为止,CD原创 2017-11-03 13:07:39 · 679 阅读 · 3 评论 -
升级hue需要配置的模块
Sentry配置Hive(服务范围)下 hive.sentry.provider配置为默认值 org.apache.sentry.provider.file.HadoopGroupResourceAuthorizationProviderhue配置backend = desktop.auth.backend.LdapBackendldap_url = ldap://ma...原创 2018-02-13 16:01:01 · 535 阅读 · 0 评论 -
CDH5中的hue的日志路径
在/var/log/hue下面原创 2018-02-13 15:55:11 · 3125 阅读 · 0 评论 -
CDH安装脚本
脚本一#!/bin/bash#修改hosts名称和节点的ip地址hostname="master"master="192.168.1.7"slave1="192.168.1.8"slave2="192.168.1.9"slave3="192.168.1.10"slave4="192.168.1.11"#追加主机名到host#echo $hostname &a原创 2018-02-13 15:55:55 · 810 阅读 · 2 评论 -
CDH安装文档
一,安装环境CentOS6.8虚拟机三台 每台内存1G 每台硬盘50G二,需要的安装包CDH5.9.0安装包 里面包含的文件: Parcel里面包含的文件: rpms里面包含的文件: 首先要确认这些文件数量正确,才能开始下面的安装三,安装步骤首先,将第二部中的安装包挪到各个节点下,这边我是三台主机,划分成为了一个主节点,两个从节点。建议下面操作使...原创 2018-02-13 15:56:27 · 357 阅读 · 0 评论 -
CDH的卸载
master节点:1、通过Cloudera Manager停止集群和Cloudera Manager服务2、卸载Cloudera Manager Server如果用cloudera-manager-installer.bin方式安装,通过如下卸载:sudo /usr/share/cmf/uninstall-cloudera-manager.shslave节点:删除下面的目录:如果有...原创 2018-02-13 15:56:50 · 909 阅读 · 0 评论 -
CDH集成Kerberos配置
转载自 JavaChen Blog,作者:JavaChen原文链接地址:http://blog.javachen.com/2014/11/04/config-kerberos-in-cdh-hdfs.html转载自 小黑的博客原文链接地址:http://www.xiaohei.info/2016/09/01/cdh-install-kerberos-ldap-sentry/...原创 2018-02-13 15:57:14 · 6369 阅读 · 0 评论 -
使用sqoop导入sql server数据库
问题描述: 以前都只是使用sqoop导入mysql和oracle数据库的数据,今天突然来了一个sql server数据库,发现按照以前的写法不对,所以开始了我的百度之路。。。首先,我按照这个大兄弟说的,去下载了sql server的驱动,但是,在下载SQL Server Hadoop Connector的时候,我突然发现:微软竟然不支持下载这个名字叫SQL ...原创 2018-03-28 17:17:18 · 6555 阅读 · 5 评论