- 博客(239)
- 资源 (26)
- 收藏
- 关注
RSS订阅原创 【问题处理贴】MySQL 8.0 authentication验证失败验证方式变更
MySQL 8.0 安装时 Authentication Method 选了第一个caching_sha2_passoword 导致navicat连接报authentication验证失败 ，修改方法show databases;use mysql;show tables;select * from user;ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'root';flush privilege
2020-10-11 00:08:24
1367
原创 2.0 Elasticsearch7.1 ES在Linux下安装问题处理（外网访问良心优化版）
elasticsearch-7.1.0-linux 外网访问 root问题 良心优化版本 比别人多点套路
2020-09-28 23:48:50
1080
1
原创 1.9 Cloudera CM+CDH6.2.0安装心得(问题解决锦集)
CM+CDH6.2.0整理下安装过程和心得还有问题解决hostname改不成功，TSocket read 0 bytes，重启网络失效，大小设置
2020-09-26 23:25:32
3405
3
原创 1.8.9 大数据-Spark-StructuredStreaming流处理（socket , kfk）
大数据-Spark-StructuredStreaming流处理含（socket , kfk）demo
2020-09-23 20:42:02
247
原创 1.8.7 大数据-Spark-SparkStreaming实时流处理（保存到Mysql）
大数据-Spark-SparkStreaming实时流处理保存到Mysql demonc安装与演示spark-shell演示idea代码演示
2020-09-23 20:26:25
232
原创 1.8.6 大数据-Spark与Mysql集成
拷贝hive中的MySQL jar包到spark 的jars目录mysql-connector-java-5.1.27-bin.jar 把表写入MysqL(自动创建表)scala> val df = spark.sql("select * from kfk.test") scala> import java.util.Propertiesimport java.util.Properties scala> val pro = new Properties()pro:
2020-09-20 21:58:25
1737
原创 1.8.5 大数据-Spark-SparkSql与Hive集成（spark-shell/spark-sql/beeline）
一、需要配置的项目1.拷贝hive的配置文件hive-site.xml到spark的conf目录 记得检查hive-site.xml中metastore的url的 配置<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://bigdata-pro01.kfk.com/metastore?createDatabaseIfNotExist=true</v
2020-09-20 21:22:17
231
1
原创 1.8.4 大数据-Spark-Yarn集群模式配置
客户端yarn模式执行bin/spark-shell --master yarn --deploy-mode client问题 HADOOP_CONF_DIR or YARN_CONF_DIR must be setException in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the env
2020-09-20 01:28:11
479
原创 1.8.3 大数据-Spark-Standalone集群模式配置
配置 slavesbigdata-pro03.kfk.com配置 spark-env.shJAVA_HOME=/opt/modules/jdk1.8.0_11SCALA_HOME=/opt/modules/scala-2.11.8SPARK_MASTER_HOST=bigdata-pro03.kfk.comSPARK_MASTER_PORT=7077SPARK_MASTER_WEBUI_PORT=8080SPARK_WORKER_CORES=1SPARK_WORKER_MEMORY=1g
2020-09-20 01:18:22
166
原创 1.8.2 大数据-Spark简单分词统计-打包上传执行
中间存在问题请参阅 Spark开发错误锦集（持续更新）https://blog.csdn.net/tanxiang21/article/details/108678731编辑scala类packagecom.spark.test importorg.apache.spark.sql.SparkSession objectTest{ defmain(args:Array[String]):Unit={ valspark=SparkSession.builder() .master("
2020-09-19 15:48:33
177
原创 Spark开发错误锦集（持续更新）
错误一 Failed to locate the winutils binary in the hadoop binary path1. 下载hadoop-common-2.7.1-binhttps://download.csdn.net/download/groovier/9591226?utm_medium=distribute.pc_relevant_download.none-task-download-searchfrombaidu-1.nonecase&depth_1-utm_s
2020-09-19 11:18:57
788
原创 1.8.1 大数据-Spark2.2编译安装
版本Spark2.2 编译 打包 安装 启动 测试下载并安装JDK1.8.0_11 和 SCALA-2.11.8下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html配置sudo vi /etc/profileexport JAVA_HOME=/opt/modules/jdk1.8.0_11export CLASSPATH=.:$JAVA_HOME/jre/lib/rt
2020-09-18 17:28:01
192
1
原创 1.7.1 大数据-HUE可视化软件安装
版本hue-3.9.0-cdh5.5.0下载解压http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0.tar.gztar -zxf hue-3.9.0-cdh5.5.0.tar.gz -C /opt/modules编译联网虚拟机里面设置为自动连接切换为root用户安装相关依赖包yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ kr
2020-09-18 11:49:05
370
原创 1.6.2 大数据-HIVE-Hiveserver2服务
配置hive-site.xml<property> <name>hive.server2.thrift.port</name> <value>10000</value></property><property> <name>hive.server2.thrift.bind.host</name> <value>bigdata-pro03.kfk.com
2020-09-18 11:32:04
221
原创 1.2.8 hadoop2.x HA架构及部署 步骤二实现 YARN-HA
1、YARN-HA架构原理介绍2、配置yarn-site.xml<!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> &
2020-06-26 12:49:11
236
原创 1.2.7 hadoop2.x HA架构及部署 步骤一实现 HDFS-HA
架构原理步骤一 先试试配置手动HAhdfs-site.xml HA配置<configuration> <property> <name>dfs.replication</name> <value>2</value> </property><property> <name>dfs.permissions.enabled<
2020-06-24 22:15:11
324
原创 1.2.6 大数据2.x 集群安装系列-- zookeeper分布式集群部署
版本zookeeper-3.4.5-cdh5.10.0配置conf/zoo.cfgtickTime=2000 心跳时间单位initLimit=10 10*2000 初始连接最长忍受心跳间隔dataDir=/opt/modules/zookeeper-3.4.5-cdh5.10.0/zkData 文件夹bigdata-pro01.kfk 域名# The number of milliseconds of each ticktickTime=2000# The number of
2020-06-18 21:40:54
187
原创 1.2.5 大数据2.x 集群安装系列-- hadoop2.x集群-时间同步ntp
安装[kfk@bigdata-pro01 ~]$ sudo rpm -qa|grep ntpfontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.4p8-3.el6.centos.x86_64ntp-4.2.4p8-3.el6.centos.x86_64服务[kfk@bigdata-pro01 ~]$ sudo rpm -qa|grep ntpfontpackages-filesystem-1.41-1.1.el6.noarchntp
2020-06-18 21:24:45
209
原创 1.2.4 大数据2.x 集群安装系列-- 集群配置中的用户及取消授权
1、现象Permission denied: user=dr.who2、解决3、配置mapred-site<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value>...
2020-02-23 12:52:47
208
转载 参考：远程工作团队协作协议
MegaEase 远程工作团队协作协议 v1.3Principles0）Ownership & Leadership每个人都是 Owner，都是 Leader，如果看到团队或是项目有问题的时候，不要等，也不忍，请马上说出来，并给出相应的方案，自己跳出来召集开会，及时调整。不要闷在那里，自己憋！1）Initiative每人个都必需是主动的，都需要自己发起要做的事，或是自己要认领要做...
2020-02-01 12:13:35
635
原创 1.1 大数据 从0到1环境搭建HADOOP伪分布式 hadoop-3.2.1
从0到1环境搭建HADOOP伪分布式 hadoop-3.2.1 1、虚拟机设置2、工具安装3、JAVA4、用户5、hadoop6、yarn
2020-01-11 16:12:40
428
原创 1.0 大数据小白文-HADOOP简介
Apache™Hadoop®项目开发了用于可靠，可扩展的分布式计算的开源软件。Apache Hadoop软件库是一个框架，该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器，每台机器都提供本地计算和存储。库本身不用于依靠硬件来提供高可用性，而是被设计用来检测和处理应用程序层的故障，因此可以在计算机集群的顶部提供高可用性服务，每台计算机都容易出现故...
2020-01-08 21:17:41
361
原创 1.2 大数据 cloudera-quickstart-vm-5.13.0-0-vmware HADOOP CDH快速安装
HADOOP CDH quickstart安装 cloudera-quickstart-vm-5.13.0-0-vmware
2020-01-07 22:10:45
1848
HCIP-Big Data Developer V2.0 培训教材.pdf
2020-09-18
mysql-connector-java-3.0.17-ga.zip
2010-12-30
iBATIS SQL Maps官方中文教程(PDF).rar
2010-12-29
ibits的必需品.rar
2010-12-29
JDBC各类纯驱动包(mysql，Oracle9i，SQLServer2005)
2010-09-28
java图像化界面美化包substance.jar
2010-09-28
xml解析资料;XML学习指南;XML的jar包
2010-09-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人