2019年03月_lvtula

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 CentOS6.5安装Kerberos认证KDC服务

一、背景介绍大数据平台生产环境开启了Kerberos认证，测试环境没有开启Kerberos认证，导致在开发离线变量计算平台的时候没法在测试环境调试Kerberos认证相关的内容，只能在生产环境上去调试，导致离线变量平台1.0.1.1、1.0.2版本上线的时候由于调试Kerberos的原因上线搞了很久。在生产环境上调试代码是非常不合理的，所以决定把测试环境Kerberos认证搭建起来，由于...

2019-03-31 22:11:32 584

原创 spark on yarn 的那些坑

spark on yarn 的那些坑https://blog.csdn.net/kimyoungvon/article/details/51615047

2019-03-29 10:58:00 195

原创 one on one

2016-06-15 one on one的一些总结https://www.jianshu.com/p/e64c2661c7a4

2019-03-29 10:47:25 121

摘要该期刊的目的是研究在企业生产环境下大数据架构的相关技术，包括操作系统配置，Cloudera管理器安装，CDH集群部署和集群参数调优，Kerberos集成，LDAP集成，保护传输中的数据安全和保护静态数据安全.生产环境依赖于AWS云服务。实验内容：CDH集群部署和集群参数调优；企业级身份验证系统kerberos；使用一个轻量级目录访问协议（LDAP）目录管理认证；当启动集群时用TLS/SSL...

2019-03-29 10:26:32 1081

原创 ERROR beeline.ClassNameCompleter: Fail to parse the class name from the Jar file due to the

[root@主机名~]# beeline -u jdbc://hive2://主机名:10000 -n rootJava HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=512M; support was removed in 8.0Java HotSpot(TM) 64-Bit Server VM warn...

2019-03-28 17:22:49 1733

原创 CDH5.10 添加kafka服务

https://www.cnblogs.com/lenmom/p/9157087.htmlCDH5.10 添加kafka服务https://www.jianshu.com/p/bd17e2005284CDH集群添加kafkahttps://blog.csdn.net/weixin_39778085/article/details/79408035CDH 安装Kafka服务的一些小问题...

2019-03-28 16:13:33 1097

原创 CDH5部署spark客户端报错JAVA_HOME is not set

/usr/bin/mkdir -p /usr/java/usr/bin/ln -s /usr/local/java_home/usr/java/default参考：http://www.aboutyun.com/thread-23764-1-1.htmlhttp://blog.sina.com.cn/s/blog_5d9aca630101pxr1.html

2019-03-28 16:10:50 367

原创 hdfs ACL对文件夹实现权限访问控制

hdfs ACL对文件夹实现权限访问控制https://blog.csdn.net/wild46cat/article/details/69664376https://www.jianshu.com/p/2c8949340f6chdfs 权限管理和acl机制https://blog.csdn.net/u011491148/article/details/45918841HDFS AC...

2019-03-28 16:07:40 149

原创 CDH安全认证及使用

https://www.cnblogs.com/yinzhengjie/articles/10495217.htmlCDH构建大数据平台-配置集群的Sentry授权安全https://www.cloudera.com/documentation/enterprise/5-15-x/topics/security.htmlclourdea安全机制官网https://blog.csdn....

2019-03-28 14:53:54 2506

原创 CDH使用错误或者报警

在CDH安装完成后或者CDH使用过程中经常会有错误或者警报，需要我们去解决，积累如下:解决红色警报时钟偏差这是因为我们的NTP服务不起作用导致的，几台机子之间有几秒钟的时间偏差。这种情况下一是把NTP重新整理配置一下。一种是在操作里调整报警误差范围。因为NTP的时间同步是平滑同步，不是跳跃式同步，如果设置得不好的话，很难校验出它同步成功了没，总感觉会缺少...

2019-03-28 14:32:42 3172

原创数据仓库设计

数据仓库简介：有些人不理解数据仓库，认为数据仓库就是获取数据，只要会使用hadoop、spark等大数据工具就懂数据仓库，这样的认识太片面。如果要从海量数据中总结出一个报表或者是多个报表，大数据工程师足以；如果在有限的资源动态的数据情况下，向前可历史追溯，向后对不断增加的报表实现兼容，这就需要一套科学的数据管理方法。数据仓库是一门数据管理的科学，数据仓库的核心就是计算、存储和维护之间的博弈。标...

2019-03-28 14:11:41 1500

原创 cdh集群输入spark-shell提示如下错误

[hdfs@mini2 ~]$ spark-shellException in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream at org.apache.spark.deploy.SparkSubmitArguments$$anonfun$mergeDef...

2019-03-27 20:03:43 621

原创 [root@mini2 ~]# sudo -u hdfs 提示spark-shell JAVA_HOME is not set

http://www.aboutyun.com/thread-23764-1-1.htmlhttp://blog.sina.com.cn/s/blog_5d9aca630101pxr1.html

2019-03-27 19:43:48 275

原创 Hbase 常见错误总结——摘自忘了

解决：https://www.cnblogs.com/sjhp-no1/p/7007848.htmlhttps://www.jianshu.com/p/4d3f31bf158d

2019-03-27 15:28:31 136

原创 Caused by: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.security.AccessControlException:

Caused by: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.security.AccessControlException: Permission denied: user=lenovo, access=WRITE, inode="":suh:supergroup:rwxr-xr-x解决方案：方案一：到服务器上...

2019-03-27 15:13:03 2098

原创 CDH5安装出现的初始化namenode错误，问题Running in non-interactive mode, and data appears to exist in Storage Direc

解决方案：https://blog.csdn.net/wangzhanchi8/article/details/79403724

2019-03-27 15:07:25 835

原创 CDH禁用kerberos

参考：https://blog.csdn.net/weixin_38367214/article/details/84970258http://blog.sina.com.cn/s/blog_6dd718930102xqa2.htmlhttps://blog.csdn.net/lvtula/article/details/89021036（为重新启用kerberos认证，除了配置之外最...

2019-03-27 14:51:18 3922 3

原创 ssh 端口转发实现外网 80 端口映射到内网 80 端口

https://www.cnblogs.com/lesliefang/p/4634408.htmlssh -N -v -L 7180:127.0.0.1:7180 root@139.98.219.54

2019-03-27 09:53:53 1616

原创 Cloudera Hadoop 启用Kerberos认证

https://blog.csdn.net/wulantian/article/details/42418231https://www.jianshu.com/p/ae273f6415b3https://www.jianshu.com/p/87aeaaab713fhttps://blog.csdn.net/shawnhu007/article/details/74355871和ht...

2019-03-26 18:18:55 709

原创 CDH集群启动时的异常错误

https://blog.csdn.net/qq_41919284/article/details/82797966

2019-03-26 17:49:25 274

原创 ERROR ParcelUpdateService:com.cloudera.parcel.components.ParcelDownloaderImpl: Unable to retrieve re

http://www.aboutyun.com/thread-9371-1-1.htmlhttps://community.cloudera.com/t5/Cloudera-Manager-Installation/Unable-to-retrieve-remote-parcel-repository-manifest/m-p/63818

2019-03-25 23:26:57 4222 1

原创安装CDH后启动cloudera-scm-server遇到问题

https://blog.csdn.net/wumiqing1/article/details/86526513https://blog.csdn.net/fearless11/article/details/58197056/https://bbs.csdn.net/topics/391836526?page=1https://blog.csdn.net/qq_41623990/ar...

2019-03-25 14:42:22 7695

原创 cdh跑任务spark on yarn

参考https://www.cnblogs.com/ptbx/p/5853106.htmlhttps://www.cnblogs.com/fastzhe/p/7444439.html均切换到hdfs用户才行总结: su hdfsspark1.xspark-shellspark-submit --class org.apache.spark.examples.Spark...

2019-03-22 17:34:59 1409

原创 CDH5.15集成spark2

参考：https://blog.csdn.net/Johnzhc/article/details/81698525https://blog.csdn.net/lin443514407lin/article/details/84650963https://blog.csdn.net/huhaiyang9180/article/details/83212996http://www.sk...

2019-03-22 16:56:45 435

原创 Cloudera Manager启动Spark报内存超出限制的错误：Required executor memory (1024+384 MB) is above the max threshold

启动Spark-Shell报错：java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster! Please check the values of ‘yarn.scheduler.maximum-all...

2019-03-22 14:55:58 1102

原创 CDH5.X添加spark服务

http://www.cnblogs.com/yinzhengjie/p/9882293.htmlhttps://blog.csdn.net/lin443514407lin/article/details/84650963http://www.mamicode.com/info-detail-2451695.htmlhttps://www.cnblogs.com/students/p/...

2019-03-22 14:39:36 1191

原创 CDH安装Oozie/Hue，以及其基本使用

https://blog.csdn.net/haixwang/article/details/80285986MySQL中的配置看官网Configure MySQL or MariaDB ServerConfiguremy.cnf(only as necessary). Ensurebind-address=0.0.0.0 (or is commented out if the...

2019-03-21 17:39:49 1471

原创解决To enable Oozie web console install the Ext JS library.

CDH 安装Oozie时显示错误如下：页面提示内容如下：Oozie web console is disabled.To enable Oozie web console install the Ext JS library.Refer to Oozie Quick Start documentation for details.解决方案：https://blog.c...

2019-03-20 11:34:10 418

原创 CDH 的Cloudera Manager免费与收费版的对比表

CDH 特性免费版付费版 Deployment, Configuration & Management 系统管理 Automated Deployment & Hadoop Readiness Checks 自动化部署及快速检查 • • Install the complete CDH stack in minutes and e...

2019-03-18 15:16:49 9138

原创利用CDH平台搭建大数据集群整理

https://www.cnblogs.com/frankdeng/p/10136230.htmlhttps://blog.csdn.net/qq_40341628/article/details/84986430https://my.oschina.net/ykbj/blog/1859661http://www.cnblogs.com/yangp/p/8520229.htmlht...

2019-03-18 11:51:28 540

原创 TIDB集群搭建

参考：https://pingcap.com/docs-cn/op-guide/ansible-deployment/#在部署目标机器上添加数据盘-ext4-文件系统挂载参数https://www.cnblogs.com/plyx/archive/2018/12/21/10158615.html...

2019-03-18 11:31:04 292

原创大数据平台比较-CDH，HDP

参考：http://www.mamicode.com/info-detail-2375058.htmlhttps://www.cnblogs.com/zlslch/p/6118862.html

2019-03-15 17:55:15 5438

原创 hue安装与配置

https://github.com/cloudera/hue#development-prerequisiteshttps://www.cnblogs.com/huhongy/p/7814573.htmlhttps://blog.csdn.net/qq_41028958/article/details/80819433https://blog.csdn.net/liangyihuai...

2019-03-13 18:59:31 379

原创 Mysql 上亿级数据导入Hive思路分享

前提条件：数据库容量上亿级别，索引只有id，没有创建时间索引达到目标：把阿里云RDS Mysql表数据同步到hive中，按照mysql表数据的创建时间日期格式分区，每天一个分区方便查询每天运行crontab定时的增量备份数据，还是依据自增的id遇到的问题：没法建立创建时间的索引，不能按时间范围去查询，那样会严重影响线上数据库的性能？只能按照id的方式去增量的读取索引，...

2019-03-13 15:40:04 1497

原创 sqoop将Mysql数据导入Hive中乱码问题解决

参考：https://blog.csdn.net/wangyang1354/article/details/52936400https://www.cnblogs.com/wujiadong2014/p/6165720.htmlhttps://blog.csdn.net/leen0304/article/details/80534385https://blog.csdn.net/c...

2019-03-12 11:32:15 1084

原创 Hive权限控制

Hive之——权限管理(授权)https://blog.csdn.net/l1028386804/article/details/80216911开放计算平台——数据仓库（Hive）权限控制https://www.cnblogs.com/yurunmiao/p/4449439.html...

2019-03-12 11:12:36 841

原创 sqoop将Mysql数据导入Hive中

参考https://blog.csdn.net/wangyang1354/article/details/52936400https://blog.csdn.net/u013850277/article/details/78808631https://blog.csdn.net/Gavin_chun/article/details/78314065https://blog.csdn...

2019-03-11 16:26:01 108

原创 centos6/7下安装mysql5.6/7

最简单的直接安装方式https://www.cnblogs.com/longrui/p/6071581.htmlhttps://www.jianshu.com/p/9da4ba898719https://baijiahao.baidu.com/s?id=1571579096343763&wfr=spider&for=pchttp://www.cnblogs.com/...

2019-03-09 16:21:04 441

原创阿里云上搭建集群

云服务器搭建hadoop集群https://blog.csdn.net/shujuelin/article/details/82690475Hadoop集群环境搭建（云服务器，虚拟机都适用）https://blog.csdn.net/Saltwind/article/details/82967025阿里云ECS上搭建Hadoop集群环境——使用两台ECS服务器搭建“Cluster ...

2019-03-08 10:19:50 1074

原创 terminal capability "cm" required 解决办法

vim ~/.bash_profile加入export TERM=xterm

2019-03-07 14:27:58 692

OpenSceneGraph三维渲染引擎设计与实践

《OpenSceneGraph三维渲染引擎编程指南》是一本全面深入介绍OpenSceneGraph（OSG）基础及核心API函数的入门教程。OpenSceneGraph（OSG）是一个基于工业标准OpenGL跨平台的三维开源场景图形系统应用程序开发接口（API）。作为一个高性能的图形开发引擎，它在3D程序开发中扮演着重要的角色。, 《OpenSceneGraph三维渲染引擎编程指南》按照OSG的设计结构体系，逐一深入讨论OSG的各个功能模块。首先介绍了OSG的历史和开源组织，以及配置开发环境；然后深入探讨OSG的核心库、NodeKits工具库、OSG插件库、互操作库及扩展库等，重点分析了如何将OSG集成到用户应用开发程序的核心功能及各种应用技术，主要包括场景组织和管理、场景数据优化、交互操作及数据实时动态更新等技术；最后探讨了关于OSG地形与地理信息的应用。, 《OpenSceneGraph三维渲染引擎编程指南》要求读者有比较好的C++基础知识和一些3D数学基础知识，适合所有对OpenGL和OSG编程感兴趣的读者。

2018-04-19

android开发

很好的APP开发过程详解，对于丰富自己的技术，涨面试经验有很大帮助

2018-04-17

android蓝牙开发

Android蓝牙数据传输实现Android蓝牙数据传输实现Android蓝牙数据传输实现

2018-03-31

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人