自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

赤山岛

洞庭湖上的一颗小岛,冥想,游泳,学程序。(大数据,PMP,ACP,Java)

  • 博客(239)
  • 资源 (27)
  • 论坛 (1)
  • 收藏
  • 关注

原创 【问题处理贴】MySQL 8.0 authentication验证失败验证方式变更

MySQL 8.0 安装时 Authentication Method 选了第一个caching_sha2_passoword 导致navicat连接报authentication验证失败 ,修改方法show databases;use mysql;show tables;select * from user;ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'root';flush privilege

2020-10-11 00:08:24 83

原创 2.0 Elasticsearch7.1 ES在Linux下安装问题处理(外网访问良心优化版)

elasticsearch-7.1.0-linux 外网访问 root问题 良心优化版本 比别人多点套路

2020-09-28 23:48:50 601 1

原创 1.9 Cloudera CM+CDH6.2.0安装心得(问题解决锦集)

CM+CDH6.2.0整理下安装过程和心得还有问题解决hostname改不成功,TSocket read 0 bytes,重启网络失效,大小设置

2020-09-26 23:25:32 818

原创 1.8.9 大数据-Spark-StructuredStreaming流处理(socket , kfk)

大数据-Spark-StructuredStreaming流处理含(socket , kfk)demo

2020-09-23 20:42:02 36

原创 1.8.8 大数据-SparkStreaming-Kafka集成

大数据-SparkStreaming-Kafka集成DEMO

2020-09-23 20:34:49 40

原创 1.8.7 大数据-Spark-SparkStreaming实时流处理(保存到Mysql)

大数据-Spark-SparkStreaming实时流处理保存到Mysql demonc安装与演示spark-shell演示idea代码演示

2020-09-23 20:26:25 49

原创 1.8.6 大数据-Spark与Mysql集成

拷贝hive中的MySQL jar包到spark 的jars目录mysql-connector-java-5.1.27-bin.jar 把表写入MysqL(自动创建表)scala> val df = spark.sql("select * from kfk.test") scala> import java.util.Propertiesimport java.util.Properties scala> val pro = new Properties()pro:

2020-09-20 21:58:25 1513

原创 1.8.5 大数据-Spark-SparkSql与Hive集成(spark-shell/spark-sql/beeline)

一、需要配置的项目1.拷贝hive的配置文件hive-site.xml到spark的conf目录 记得检查hive-site.xml中metastore的url的 配置<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://bigdata-pro01.kfk.com/metastore?createDatabaseIfNotExist=true</v

2020-09-20 21:22:17 31

原创 1.8.4 大数据-Spark-Yarn集群模式配置

客户端yarn模式执行bin/spark-shell --master yarn --deploy-mode client问题 HADOOP_CONF_DIR or YARN_CONF_DIR must be setException in thread "main" java.lang.Exception: When running with master 'yarn' either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the env

2020-09-20 01:28:11 61

原创 1.8.3 大数据-Spark-Standalone集群模式配置

配置 slavesbigdata-pro03.kfk.com配置 spark-env.shJAVA_HOME=/opt/modules/jdk1.8.0_11SCALA_HOME=/opt/modules/scala-2.11.8SPARK_MASTER_HOST=bigdata-pro03.kfk.comSPARK_MASTER_PORT=7077SPARK_MASTER_WEBUI_PORT=8080SPARK_WORKER_CORES=1SPARK_WORKER_MEMORY=1g

2020-09-20 01:18:22 24

原创 1.8.2 大数据-Spark简单分词统计-打包上传执行

中间存在问题请参阅 Spark开发错误锦集(持续更新)https://blog.csdn.net/tanxiang21/article/details/108678731编辑scala类packagecom.spark.test importorg.apache.spark.sql.SparkSession objectTest{ defmain(args:Array[String]):Unit={ valspark=SparkSession.builder() .master("

2020-09-19 15:48:33 30

原创 Spark开发错误锦集(持续更新)

错误一 Failed to locate the winutils binary in the hadoop binary path1. 下载hadoop-common-2.7.1-binhttps://download.csdn.net/download/groovier/9591226?utm_medium=distribute.pc_relevant_download.none-task-download-searchfrombaidu-1.nonecase&depth_1-utm_s

2020-09-19 11:18:57 85

原创 1.8.1 大数据-Spark2.2编译安装

版本Spark2.2 编译 打包 安装 启动 测试下载并安装JDK1.8.0_11 和 SCALA-2.11.8下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html配置sudo vi /etc/profileexport JAVA_HOME=/opt/modules/jdk1.8.0_11export CLASSPATH=.:$JAVA_HOME/jre/lib/rt

2020-09-18 17:28:01 46

原创 1.7.1 大数据-HUE可视化软件安装

版本hue-3.9.0-cdh5.5.0下载解压http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0.tar.gztar -zxf hue-3.9.0-cdh5.5.0.tar.gz -C /opt/modules编译联网虚拟机里面设置为自动连接切换为root用户安装相关依赖包yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ kr

2020-09-18 11:49:05 77

原创 1.6.2 大数据-HIVE-Hiveserver2服务

配置hive-site.xml<property> <name>hive.server2.thrift.port</name> <value>10000</value></property><property> <name>hive.server2.thrift.bind.host</name> <value>bigdata-pro03.kfk.com

2020-09-18 11:32:04 26

原创 1.6.1 大数据-HIVE安装与演示(含配置Mysql元数据库)

HIVE安装与演示(含配置Mysql元数据库)

2020-09-18 11:25:35 37

原创 1.5.1 大数据-Mysql yum安装

Mysql yum安装

2020-09-17 16:54:17 41

原创 1.4.1 大数据-Kafka分布式集群安装

kafka分布式集群安装

2020-09-17 13:53:09 60

原创 1.3.3 大数据HBASE操作-使用Shell进行数据表操作

HBASE操作-使用Shell进行数据表操作

2020-07-11 21:39:42 85

原创 1.3.2 大数据HBASE安装 - 解决各种报错-以及Master-backup配置
原力计划

1.3.2 大数据HBASE安装 - 解决各种报错

2020-07-11 21:30:59 213

原创 1.3.1 大数据HBASE基础-思维导图

HBASE特点及应用场景结构体系与设计模型示例

2020-06-27 15:46:53 83

原创 1.2.8 hadoop2.x HA架构及部署 步骤二实现 YARN-HA

1、YARN-HA架构原理介绍2、配置yarn-site.xml<!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> &

2020-06-26 12:49:11 118

原创 1.2.7 hadoop2.x HA架构及部署 步骤一实现 HDFS-HA

架构原理步骤一 先试试配置手动HAhdfs-site.xml HA配置<configuration> <property> <name>dfs.replication</name> <value>2</value> </property><property> <name>dfs.permissions.enabled<

2020-06-24 22:15:11 141

原创 1.2.6 大数据2.x 集群安装系列-- zookeeper分布式集群部署

版本zookeeper-3.4.5-cdh5.10.0配置conf/zoo.cfgtickTime=2000 心跳时间单位initLimit=10 10*2000 初始连接最长忍受心跳间隔dataDir=/opt/modules/zookeeper-3.4.5-cdh5.10.0/zkData 文件夹bigdata-pro01.kfk 域名# The number of milliseconds of each ticktickTime=2000# The number of

2020-06-18 21:40:54 75

原创 1.2.5 大数据2.x 集群安装系列-- hadoop2.x集群-时间同步ntp

安装[kfk@bigdata-pro01 ~]$ sudo rpm -qa|grep ntpfontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.4p8-3.el6.centos.x86_64ntp-4.2.4p8-3.el6.centos.x86_64服务[kfk@bigdata-pro01 ~]$ sudo rpm -qa|grep ntpfontpackages-filesystem-1.41-1.1.el6.noarchntp

2020-06-18 21:24:45 76

原创 1.2.4 大数据2.x 集群安装系列-- 集群配置中的用户及取消授权

1、现象Permission denied: user=dr.who2、解决3、配置mapred-site<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value&gt...

2020-02-23 12:52:47 82

原创 1.2.3 大数据2.x 集群安装系列-- YARN配置启动

大数据2.x 集群安装系列-- YARN配置启动

2020-02-07 11:26:04 77

原创 1.2.2 大数据2.x 集群安装系列-- HDFS安装配置

大数据2.x 集群安装系列 HDFS安装配置

2020-02-07 11:12:20 72

原创 1.2.1 大数据2.x 集群安装系列--环境准备

2.x集群安装系列 环境准备

2020-02-07 11:03:01 103

转载 参考:远程工作团队协作协议

MegaEase 远程工作团队协作协议 v1.3Principles0)Ownership & Leadership每个人都是 Owner,都是 Leader,如果看到团队或是项目有问题的时候,不要等,也不忍,请马上说出来,并给出相应的方案,自己跳出来召集开会,及时调整。不要闷在那里,自己憋!1)Initiative每人个都必需是主动的,都需要自己发起要做的事,或是自己要认领要做...

2020-02-01 12:13:35 297

原创 1.0.1 大数据概述(思维导图、学习笔记)

大数据概述(思维导图、学习笔记)

2020-01-12 22:38:44 319

原创 1.1 大数据 从0到1环境搭建HADOOP伪分布式 hadoop-3.2.1

从0到1环境搭建HADOOP伪分布式 hadoop-3.2.1 1、虚拟机设置2、工具安装3、JAVA4、用户5、hadoop6、yarn

2020-01-11 16:12:40 273

原创 1.0 大数据小白文-HADOOP简介

Apache™Hadoop®项目开发了用于可靠,可扩展的分布式计算的开源软件。Apache Hadoop软件库是一个框架,该框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理。它旨在从单个服务器扩展到数千台机器,每台机器都提供本地计算和存储。库本身不用于依靠硬件来提供高可用性,而是被设计用来检测和处理应用程序层的故障,因此可以在计算机集群的顶部提供高可用性服务,每台计算机都容易出现故...

2020-01-08 21:17:41 173

原创 1.2 大数据 cloudera-quickstart-vm-5.13.0-0-vmware HADOOP CDH快速安装

HADOOP CDH quickstart安装 cloudera-quickstart-vm-5.13.0-0-vmware

2020-01-07 22:10:45 1036

原创 《敏捷导入》《敏捷革命》-思维导图-笔记

敏捷导入敏捷革命

2019-12-22 21:56:43 416

原创 敏捷-SCRUM笔记-SCRUM权威指南-SRCUM 方法与实践-分享

敏捷-SCRUM笔记SCRUM权威指南SRCUM 方法与实践微分享图

2019-12-22 21:52:22 76

原创 《教练技术》读书笔记

《教练技术》读书笔记

2019-12-22 21:46:15 69

原创 《看板实战》读书笔记 XMIND版本

《看板实战》读书笔记

2019-10-01 17:13:08 87

原创 敏捷需求管理

敏捷需求管理

2019-10-01 17:00:02 84

原创 ACP敏捷实践指南--敏捷裁剪

ACP敏捷实践指南–敏捷裁剪

2019-09-11 16:06:30 127

HCIP-Big Data Developer V2.0 培训教材.pdf

最新华为HCIP-Big Data Developer V2.0 培训教材 积分优越,放心下载,华为开发者培训大数据内容,不用华为云也可以学

2020-09-18

mina-core-2.0.2.jar

mina-core-2.0.2.jar mina-core-2.0.2.jar

2010-12-29

log4j-over-slf4j-1.6.1.jar

log4j-over-slf4j-1.6.1.jar log4j-over-slf4j-1.6.1.jar

2010-12-29

PMBOK第六版中英文带目录可编辑+敏捷实践指南英文带目录可编辑

PMBOK第六版中英文带目录可编辑+敏捷实践指南英文带目录可编辑

2019-05-04

模拟Struts责任链工作流及简单AOP实现

模拟Struts责任链工作流及简单AOP实现

2013-05-18

JDBC各类纯驱动包(mysql,Oracle9i,SQLServer2005)

JDBC各类纯驱动包(mysql.jar,Oracle9i.jar,SQLServer2005.jar)

2010-09-28

java图像化界面美化包substance.jar

使用方法,先导包,再在代码里加下面这个 try { UIManager.setLookAndFeel("org.jvnet.substance.skin.SubstanceFieldOfWheatLookAndFeel"); SwingUtilities.updateComponentTreeUI(shiPuFrame); shiPuFrame.show(); } catch (Exception e1) { System.out.println("Look and Feel Exception");}

2010-09-28

slf4j-nop-1.6.1.jar

slf4j-nop-1.6.1.jar slf4j-nop-1.6.1.jar

2010-12-29

java图形化编程学习指导和java图形化编程帮助文档

java图形化编程学习指导 java图形化编程帮助文档

2010-09-28

eclipse android插件

eclipse android插件 ADT-21.0.0.zip

2013-04-11

EditPlus_3.3

EditPlus_3.3 文件编辑器

2012-11-11

mysql-connector-java-3.0.17-ga.zip

mysql-connector-java-3.0.17-ga.zip mysql-connector-java-3.0.17-ga.zip

2010-12-30

MySQL中文参考手册.CHM

MySQL中文参考手册.CHM MySQL中文参考手册.CHM MySQL中文参考手册.CHM

2010-12-29

iBATIS SQL Maps官方中文教程(PDF).rar

iBATIS SQL Maps官方中文教程(PDF).rar iBATIS SQL Maps 入门教程.pdf iBATIS-SqlMaps-2_cn.pdf

2010-12-29

ibits的必需品.rar

ibits的必需品.rar mysql-connector-java-5.1.5-bin.jar ibatis-2.3.0.677.jar sqlMapConfig.xml

2010-12-29

MYSQL命令集大全

MYSQL命令集大全 MYSQL命令集大全

2010-12-30

mysql安装.rar

mysql安装.rar mysql安装.rar mysql安装.rar

2010-12-30

iBATIS开发指南

iBATIS开发指南 iBATIS-SqlMaps-2_cn_pdf.zip iBATIS-SqlMaps-2-Tutorial_cn_pdf.zip

2010-12-29

java 代码大全 软件开发人员必备工具书

代码大全.pdf 代码大全.pdf 代码大全.pdf 代码大全.pdf 代码大全.pdf

2011-03-25

ibatis-2.3.0.677正式版.zip

ibatis-2.3.0.677正式版.zip ibatis-2.3.0.677.jar

2010-12-29

Java2 参考大全(第4版).pdf

Java2 参考大全(第4版).pdf Java2 参考大全(第4版).pdf Java2 参考大全(第4版).pdf Java2 参考大全(第4版).pdf Java2 参考大全(第4版).pdf

2011-03-25

slf4j-1.6.1.tar.gz

slf4j-1.6.1.tar.gz slf4j-nop-1.6.1.jar log4j-over-slf4j-1.6.1.jar

2010-12-29

ApacheMina入门(完成版).rar

ApacheMina入门(完成版).rar ApacheMina入门(完成版).pdf

2010-12-29

帮助文档集合(SQL.chm,XML 指南.chm,正则表达式系统教程.CHM)

帮助文档集合 SQL.chm, XML 指南.chm, 正则表达式系统教程.CHM

2010-09-28

apache-mina-2.0.2-bin.tar.gz

apache-mina-2.0.2-bin.tar.gz mina-core-2.0.2.jar

2010-12-29

xml解析资料;XML学习指南;XML的jar包

XML学习指南 XML的jar包dom4j-1.6.1.jar,dom4j.jar,jdom-1.1.1.zip,sax2r3.zip

2010-09-28

代码规范(JAVA)

代码规范(JAVA),规范,题目,原则,华为

2012-11-11

去顺丰还是去小公司

发表于 2014-02-27 最后回复 2014-03-14

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除