- 博客(17)
- 收藏
- 关注
RSS订阅原创 CDH6 parcel包激活失败回退
CDH的parcel包在安装、分发、激活过程中如果失败，CM是不支持过程回滚的，会直接卡死在失败位置，但是官方提供了API接口，可以进行回滚，详细API见具体操作：cmd进入本机命令行，输入curl -u user:yourpassword -X POST http://CM_IP:7180/api/v18/clusters/{clusterName}/parcels/products/{product}/versions/{version}/commands/deactivate即curl -
2020-05-14 16:28:38
989
原创 clickhouse集群模式搭建
clickhouse server安装1.检查是否支持SSE 4.2：grep -q sse4_2 /proc/cpuinfo && echo “SSE 4.2 supported” || echo “SSE 4.2 not supported”2.安装依赖sudo yum install -y curl3.下载运行脚本(centos7显式指定os=centos dist=7两个参数)curl -s https://packagecloud.io/install/reposito
2020-05-13 17:09:59
1399
原创 canan admin1.1.4搭建
–canal server安装1.下载安装包 canal.deployer-1.1.4.tar.gzhttps://github.com/alibaba/canal/releases2.解压进入安装目录：cd /usr创建canal存放目录：mkdir canal进入创建好的目录：cd canal解压安装包：tar -zxvf canal.deployer-1.1.4.tar.gz–canal admin安装1.下载安装包 canal.admin-1.1.4.tar.gzhttps:
2020-05-13 17:07:36
340
1
转载 hdfs优化
hdfs的优化主要包括两方面：一、hdfs本身的优化，常见项有1.1 文件块block的大小设置：(1). 数据块的备份数（复制因子，默认3）(2). HDFS数据块的大小,默认值是128M（hdfs的大小应当根据两个因素来确定，一个是系统中常见文件的大小，一个是系统硬盘的速度，最优值应当接近硬盘速度）1.2 hdfs小文件归档，hdfs中可能存储了大量的小文件，及其影响性能，我们可以对...
2020-04-07 16:49:06
538
原创 truffle.js 'module' 未定义 运行时错误
最近再学习truffle，再进行Truffle 配套 Ganache进行开发时，执行truffle的所有命令时都会报一个truffle.js ‘module’ 未定义的错误，经查询这是truffle在Windows 上面的一个BUG，Windows 上有一个命名问题，当我们想要执行 Truffle 命令时，它会打开 “truffle.js” 配置文件而不是读取里面的数据，而在其他系统中不存在这样的...
2018-04-26 11:06:55
1520
原创 本机使用无线WIFI时，虚拟机网络设置方式
当宿主机使用的是WIFI时，虚拟机不能选择NAT模式（或许可以，但是我好久也没解决），选择桥接模式是最快、最简单的方式1.虚拟机设置里面网络适配器选择桥接模式 2. edit——虚拟机网络编辑器——VMNET0 选择桥接模式，桥接到选择自动（记得自动设置里面的勾全打上），然后确定就解决了
2018-04-12 17:34:10
10747
4
原创 eclipse workspace无法更改
问题：eclipse workspace已经在preferences–startup and shutdown–workspace–prompt for workspace on startup 中进行了设置，但是每次打开eclipse时候，却还是自动默认为C：解决：CMD 进入命令行，进入eclipse主目录，执行eclipse -clean
2017-01-13 11:32:35
340
转载 Spark核心RDD：combineByKey函数详解
rigidwang spark之combineByKeycombineByKeydef combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C): RDD[(K, C)]def combineByKey[C](createCombiner: (V) => C, me
2016-12-09 11:10:32
540
转载 SPARK官方文档中文翻译
Spark版本：1.6.0转载请注明出处：http://www.cnblogs.com/BYRans/1 概述(Overview) 2 引入Spark(Linking with Spark) 3 初始化Spark(Initializing Spark) 3.1 使用Spark Shell(Using the Shell) 4 弹性分布式数据集(RDDs) 4.1 并行集合(Parallel
2016-12-09 10:00:33
1079
原创 sprak报错
WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources字面意思是：警告：初始job没有接受任何资源；检查
2016-12-07 14:16:42
361
原创 影响Linux YUM下载软件以及依赖包的因素
最近来到公司，重新装了一边CDH hadoop集群，中间出现了很多问题，最多的报错便是，无法解析镜像文件，折腾了很多地方，查了很多资料现在发现，主要就两个方面对YUM影响比较大一 镜像源原来是contes 系统自带的镜像源，但是下载速度特别慢，还常常会出现找不到镜像源的问题，后来换成国内163的镜像源，解决了大部分问题二 DNS域名解析镜像源也仅仅是解
2016-11-28 14:57:15
344
转载 Linux关于bashrc与profile的区别(转)
bashrc与profile的区别要搞清bashrc与profile的区别，首先要弄明白什么是交互式shell和非交互式shell，什么是login shell 和non-login shell。交互式模式就是shell等待你的输入，并且执行你提交的命令。这种模式被称作交互式是因为shell与用户进行交互。这种模式也是大多数用户非常熟悉的：登录、执行一些命令、签退。当你签退后，sh
2016-11-09 15:01:29
168
转载 Spark简介
Spark简介 Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。 Spark将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在
2016-10-19 15:34:53
261
转载 怎样在java代码中调用执行shell脚本
// 用法：Runtime.getRuntime().exec("命令"); String shpath="/test/test.sh"; //程序路径 Process process =null; String command1 = “chmod 777 ” + shpath; try { Runtime.getRunti
2016-09-21 17:09:49
1138
转载 Collcition的作用及意义
线性表，链表，哈希表是常用的数据结构，在进行Java开发时，JDK已经为我们提供了一系列相应的类来实现基本的数据结构。这些类均在java.util包中。本文试图通过简单的描述，向读者阐述各个类的作用以及如何正确使用这些类。 Collection ├List │├LinkedList │├ArrayList │└Vector │ └Stack └Set Map ├Hashtabl
2016-08-10 19:08:36
273
转载 java中什么叫迭代，什么叫迭代器
迭代 通俗点说 叫 一个个数过去，实现这样一个个数过去功能的东西，叫迭代器。java迭代器 较多使用在容器中，如数组链表 ArrayList(反正就是能装东西的玩意儿)举个例子：//我们先往链表中装东西ArrayList a = new ArrayList();a.add("东西1");a.add("东西2");//从链表中取东西怎么办呢，自然就用到了迭代器
2016-08-09 08:33:22
489
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人