自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

转载 mybatis-plus-generator 模板生成代码

maven: <dependencies> <dependency> <groupId>com.baomidou</groupId> <artifactId>m...

2019-09-11 10:56:00

阅读数 33

评论数 0

转载 百度云 2G 4核 服务器拼团链接

拼团链接如下: https://cloud.baidu.com/campaign/ABCSale-2019/index.html?teamCode=P3D6DV8T 转载于:https://www.cnblogs.com/yako/p/11465754.html

2019-09-05 14:24:00

阅读数 34

评论数 0

转载 大数据平台的服务内容以及猛犸大数据平台近期的思考【摘录】

猛犸大数据平台经过去年一年的快速发展,已成为公司内多个产品的大数据开发工具的首选,作为一个当初定位为开发门户的这样一个平台网站,以调度管理为核心,将公司内已有的大数据工具进行了整合,提供了可视化的操作界面、统一的用户权限管理机制。洞悉原油开发流程的用户可以在猛犸上找到很熟悉的感觉,DS接入,MR任...

2019-07-18 11:51:00

阅读数 3

评论数 0

转载 Hystrix

TODO 转载于:https://www.cnblogs.com/yako/p/10267248.html

2019-01-14 15:50:00

阅读数 1

评论数 0

转载 正则表达式

为什么使用正则表达式? 典型的搜索和替换操作要求您提供与预期的搜索结果匹配的确切文本。虽然这种技术对于对静态文本执行简单搜索和替换任务可能已经足够了,但它缺乏灵活性,若采用这种方法搜索动态文本,即使不是不可能,至少也会变得很困难。 通过使用正则表达式,可以: 测试字符串内的模式。例如,可...

2018-11-22 17:41:00

阅读数 2

评论数 0

转载 区块链特点

三大特点: 1.去中心化(每一个节点都是同等的,只有计算能力的差异,没有地位的差异) 2.公开性,所有人可见(所有节点都拥有区块链上所有的数据) 3.不可撤销,不可篡改(难度较大,需要控制全网51%以上的计算能力) 阮老师的入门贴:http://www.ruanyifeng.com/b...

2018-10-23 23:16:00

阅读数 2

评论数 0

转载 Cygwin & MinGW

Cygwin:虚拟环境 MinGW:工具类 TO:.... 转载于:https://www.cnblogs.com/yako/p/9791403.html

2018-10-15 15:48:00

阅读数 1

评论数 0

转载 Kafka中的zookeeper-shell.sh

连接 zookeeper bin/zookeeper-shell.sh 127.0.0.1:2181 常用命令 connect host:port get path [watch] ls path [watch] set path data [version] rmr...

2018-09-17 10:17:00

阅读数 1

评论数 0

转载 mapPartitions

rdd.mapPartitions{ partition => if (!partition.isEmpty) { // Some setup code here partition.map(item => { val output =yourfunction(item) i...

2018-09-11 15:23:00

阅读数 0

评论数 0

转载 Kafka 副本失效

Kafka源码注释中说明了一般有两种情况会导致副本失效: follower副本进程卡住,在一段时间内根本没有想leader副本发起同步请求,比如频繁的Full GC。 follower副本进程同步过慢,在一段时间内都无法追赶上leader副本,比如IO开销过大。 FYI:http...

2018-08-31 15:22:00

阅读数 5

评论数 0

转载 JVM Scan

1.jmap -histo pid|head -100 2.jstat -gcutil pid cycle 3.jmap-heap pid 转载于:https://www.cnblogs.com/yako/p/9548370.html

2018-08-28 15:12:00

阅读数 0

评论数 0

转载 记住,永远不要在MySQL中使用“utf8”编码[转载]

记住,永远不要在MySQL中使用“utf8”编码 原创:无明、Adam聊聊架构6月15日 最近工作中我遇到了一个 bug,我试着通过 Rails 在以“utf8”编码的 MariaDB 中保存一个 UTF-8 字符串,然后出现了一个离奇的错误: Incorrect string valu...

2018-07-25 10:17:00

阅读数 0

评论数 0

转载 大数据生态

转载于:https://www.cnblogs.com/yako/p/9343756.html

2018-07-20 21:45:00

阅读数 0

评论数 0

转载 MySQL 5.6 在线主从复制

设:主库为master,从库为slave 1.备份主库数据(全库),且记录下 master_log_file,master_log_pos,用于后面设置slave时指定 备份脚本: mysqldump --socket=/home/data/mysql/mysql.sock --sing...

2018-07-11 11:14:00

阅读数 0

评论数 0

转载 ambari 2.6.2 安装 hdp 2.6.5.0 遇到的问题

1.hive-client 无法安装 一直报错(symlink target already exists and it is not a symlink.),hive-client 已经存在且不是符号连接,查看确实如此 试了很多种办法,比如重新安装,比如手动删除,手动连接,都没有奏效 ...

2018-07-10 13:49:00

阅读数 17

评论数 0

转载 Mysql 断电数据损毁恢复

error log: Database page corruption on disk or a failed 处理: /etc/my.cnf 设置 innodb_force_recovery = 6 再次启动即可。 后续需要处理: checktable,处理有问题的表。 转...

2018-07-05 12:22:00

阅读数 4

评论数 0

转载 centos6.7 安装 virtualBox 再安装 centos 7

Tag: 黄色为自己实际情况需要设置的部分,绿色部分为虚拟机名称(自定义) 1.创建虚拟机VBoxManage createvm --name centos7 --ostype Linux26_64 --register --basefolder /home/virtualbox/ VBo...

2018-07-04 19:09:00

阅读数 2

评论数 0

转载 ambari

1.python 不正常,不可用 无法install ,文件名过长 2.无法连接注册(IOERROR failed due to EOF occurred in violation of protocol) /etc/ambari-agent/conf/ambari-agent.in...

2018-07-03 18:17:00

阅读数 2

评论数 0

转载 Hbase 维护

停止 regionserver : ./graceful_stop.sh host 转载于:https://www.cnblogs.com/yako/p/9245108.html

2018-06-29 19:48:00

阅读数 1

评论数 0

转载 hbase copyTable

参考:https://yq.aliyun.com/articles/176546 执行:hbase org.apache.hadoop.hbase.mapreduce.CopyTable --new.name="default:cheat.20180501_superid_ua_a...

2018-06-27 15:16:00

阅读数 2

评论数 0

转载 Phoenix 4.8

From v4.8.0 onwards, user can enable to map it’s schema to the namespace so that any table created with schema will be created in the corresponding n...

2018-06-26 20:44:00

阅读数 2

评论数 0

转载 记录

ps -ef|grep defunct guice metrics-core 转载于:https://www.cnblogs.com/yako/p/8996559.html

2018-05-05 22:39:00

阅读数 2

评论数 0

转载 西蒙布朗-C4模型

关于 C4 模型的一些解释 C4 模型是来自 software architecture for developers 一书的定义,指的是 Context 上下文场景、Container 容器、Component 组件和 Classes 类(或者 Code 代码),意思指一个软件架构是由这些模型...

2018-02-23 12:03:00

阅读数 4

评论数 0

转载 Linux 让进程在后台可靠运行的几种方法

nohup 忽略 hang up 信号 setsid 使得父进程为1(init) & 使得父进程为1(init) disown 可以对已经启动的进程进行忽略hang up 处理 screen 使所有后续启动的进程的父进程都是1(init) 转载于:htt...

2018-02-13 16:39:00

阅读数 0

评论数 0

转载 IntelliJ IDEA For Mac 快捷键

根据官方pdf翻译:https://www.jetbrains.com/idea/docs/IntelliJIDEA_ReferenceCard_Mac.pdf 在 IntelliJ IDEA 中有两个 Mac 版本的快捷键,一个叫做:Mac OS X,一个叫做:Mac OS X 10.5+ ...

2018-02-13 15:32:00

阅读数 1

评论数 0

转载 硬盘容量是否受限制【是】

一般情况下硬盘容量主要受三部分影响: 1.主板(支持BIOS 还是 UEFI,以及硬盘接口数量--SATA) 2.操作系统 (支持MBR 还是 GPT 分区格式,以及分区的数量限制) 3.文件系统(支持多大的量,比如 NTFS限制在256TB,EXT4限制在1EB,单个文件限制在16TB) ...

2018-01-14 16:18:00

阅读数 1

评论数 0

转载 Parquet 格式文件,查看Schema

需要社区工具:parquet-tools-1.6.0rc3-SNAPSHOT.jar    git project:https://github.com/apache/parquet-mr/tree/master/parquet-tools?spm=5176.doc52798.2....

2017-11-24 10:26:00

阅读数 42

评论数 0

转载 Spark Launcher

转载于:https://www.cnblogs.com/yako/p/7737001.html

2017-10-26 15:22:00

阅读数 2

评论数 0

转载 Hadoop Gateway 部署

1.集群的 hadoop-current hive-current spark-current copy 到 gateway 机器 2.集群的 hadoop-conf    hive-conf     spark-conf copy 到 gateway...

2017-10-25 16:07:00

阅读数 14

评论数 0

转载 java 命令--备忘

java -Djava.ext.dirs=/tmp/spark-sample/lib/ -cp ./spark-sample-1.0.jar com.sample.StartLauncher 转载于:https://www.cnblogs.com/yako/p/7719388.html

2017-10-23 22:10:00

阅读数 1

评论数 0

转载 整理下常用硬件性能参数

首先列下秒以内的时间单位换算 1 秒 = 1000 毫秒(ms) 1 毫秒 = 1000 微妙(μs) 1 微妙 = 1000 纳秒(ns) 1 纳秒 = 1000 皮秒(ps) -------------------------------华丽分割线------------------...

2017-10-10 23:12:00

阅读数 0

评论数 0

转载 python 脚本备份 mysql 数据库到 OSS

脚本如下: 1 #!/usr/bin/python 2 ########################################################### 3 ###################################################...

2017-10-10 16:58:00

阅读数 2

评论数 0

转载 pip 更换国内源

centos 下 没有找到 pip.conf 操作如下: 进入主目录:cd ~ 创建 .pip 目录: mkdir .pip 进入.pip 创建 pip.conf 文件:cd .pip/  touch pip.conf 编辑 pip.conf 写入新的源配置,写入 douban源,保...

2017-10-08 17:35:00

阅读数 2

评论数 0

转载 记录闭包和立即执行函数

闭包: http://www.runoob.com/js/js-function-closures.html 立即执行函数: IIFE(Immediately Invoked Function Expression) http://benalman.com/news/2010/11/i...

2017-09-30 13:37:00

阅读数 0

评论数 0

转载 Django 中文乱码问题&富文本显示

1.起源:从后台管理添加中文对象,正常,但是再次点击编辑的时候,抛出异常,显示编码问题。 解决:在项目的manage.py 的文件头部添加    importsys    reload(sys)    sys.setdefaultencoding('utf8') ...

2017-09-12 07:58:00

阅读数 18

评论数 0

转载 mysql exceeded the 'max_questions' resource 记录

最近Hive Meta的 Mysql 常报错'user' has exceeded the 'max_questions' resource (current value: 10000) 解决:调高 max_questions 设置,直接修改user 表...

2017-07-12 11:44:00

阅读数 7

评论数 0

转载 Linux 命令 su 和 sudo 比较

su  :    可以用来切换到任何用户,但是要求输入目标用户的密码   比如:su -      su - root (等价 su -)      su - user   su root 与 su - root 的区别在于,后者不切换环境,只是赋予用户身份 sudo :   需...

2017-07-06 12:53:00

阅读数 1

评论数 0

转载 python virtualenv

主要用来启动一个独立的python 运行环境,好处在于可以独立安装相关版本软件包,避免不同程序因依赖不同版本的某一程序而导致的冲突。 入门步骤: 1.安装 pip install virtualenv 2.创建 virtualenv 【env目录】 3.激活   进入 env目录 ...

2017-06-16 14:59:00

阅读数 0

评论数 0

转载 Linux 操作系统常用的三种流012

Linux 操作系统常用的三种流: 0 标准输入流 1 标准输出流 2 标准错误流 通常在写脚本启动程序,写log时候,会出现如下写法: nohup commod > log.txt 2>&1 & 解释:表示通过nohup 启动服务    > ...

2017-05-27 17:02:00

阅读数 1

评论数 0

转载 Hive 外部表新增字段或者修改字段类型等不生效

标题比较笼统,实际情况是: 对于Hive 的分区外部表的已有分区,在对表新增或者修改字段后,相关分区不生效。 原因是:表元数据虽然修改成功,但是分区也会对应列的元数据,这个地方不会随表的元数据修改而修改. 处理办法: 有两种 第一种:修改表,然后对于需要生效的分区,先drop 再...

2017-05-17 17:19:00

阅读数 25

评论数 0

提示
确定要删除当前文章?
取消 删除