you_two的博客

原创 大数据组件选型要点

大数据组件选型要点

原创 离线大数据平台存储资源评估

思路1.计算每天的数据量和副本个数2.需要存储多久3.各种数据处理之后，数据膨胀倍数4.数据增长速度5.数据压缩存储比例6.机器硬盘大小、个数

原创 大数据实时存储资源评估方法

评估思路1.数据高峰期QPS计算，数据量/高峰期时长，根据二八法则2.存储计算，考虑每天的数据总量包括原始数据量以及副本数据量，考虑数据保存时长以及高峰期QPS占集群总承载能力的百分比3.磁盘数量计算，根据第二步计算物理机数量以及磁盘数量4.磁盘类型选择，SSD or SAS，有钱直接SSD就行了5.内存估算，资金充足时越大越好，kafka topic partition占用总内存除以物理机数量等于单台物理机需要的内存，考虑partition数据不需要完全放在内存中，20%就行了6.

原创 mysql实现取字段值中某个字符之前的值

例如字符串 abc/def/gh/ijk 取最后一个/之前的值即abc/def/gh实现函数：substring_index、length、replaceselect substring_index('abc/def/gh/ijk','/',length(replace('abc/def/gh/ijk','/','//'))-length('abc/def/gh/ijk'))关键点解析：length(replace('abc/def/gh/ijk','/','//'))-length('abc/

原创 postgresql表重建

postgresql数据库中的表需要重建，但是表被物化视图使用没法直接重建怎么办？1.创建临时表,包括表结构和索引等对象create table table_name_1(like table_name INCLUDING all);2.插入原表数据到临时表insert into table_name_1 select * from table_name;3.原表重命名为原表2alter table table_name rename to table_name_2;4.新表重.

原创 windows连接vpn无法连接网络解决

原创 red hat下重新安装yum

(1)删除redhat原有的yumrpm -aq|grep yum|xargs rpm -e --nodeps(2)下载需要的包 wget http://mirrors.163.com/centos/7/os/x86_64/Packages/python-iniparse-0.4-9.el7.noarch.rpm wget http://mirrors.163.com/centos/7/os/x86_64/Packages/yum-metadata-parser-1.1.4

原创 postgresql物化视图刷新——创新思路

postgresql物化视图刷新常见的有直接刷新refresh和增量刷新，这两种刷新思路都不满足当前业务需求，直接refresh会锁定物化视图，增量刷新局限于版本和唯一索引，经过改造提供以下新的解决思路：drop materialized view if exists view_name_ls;--创建和原物化视图相同逻辑的临时物化视图create materialized view view_name_ls as 原物化视图逻辑;--原物化视图重命名为带动态时间后缀的名称alter mat

原创 postgresql查询锁表pid，SQL、开始时间、执行SQL的ip地址

SELECT distinctpg_stat_get_backend_pid (S.backendid) AS pid,pg_stat_get_backend_activity_start (S.backendid) AS start_time,pg_stat_get_backend_activity (S.backendid) AS query_sql,m.client_addr as ip_addrFROM(SELECT pg_stat_get_backend_idset () AS

原创 CDH大数据平台搭建

一、准备4台虚拟机 ip 机器名 角色 192.168.160.128 host01 CM管理组件 192.168.160.130 host02 namenode/resource manager/hbase master/impala statestore/impala catalog server/hiveserver2/hive

翻译 基于Ambari搭建大数据平台

一、准备工作以Apache 的 Ambari 2.0.1 为例1.SSH 的无密码登录Ambari 的 Server 会 SSH 到 Agent 的机器，拷贝并执行一些命令。因此我们需要配置 Ambari Server 到 Agent 的 SSH 无密码登录。在这个例子里，zwshen37 可以 SSH 无密码登录 zwshen38 和 zwshen39。2.确保 Yum 可以正常工作通过公共库（public repository），安装 Hadoop 这些软件，背后其实就是应用.

原创 win10家庭版安装组策略

@echo offpushd "%~dp0"dir /b C:\Windows\servicing\Packages\Microsoft-Windows-GroupPolicy-ClientExtensions-Package~3*.mum >List.txtdir /b C:\Windows\servicing\Packages\Microsoft-Windows-GroupPolicy-ClientTools-Package~3*.mum >>List.txtfor /

原创 bat脚本把远程共享文件实时备份到本地

bat脚本把远程共享文件实时备份到本地@echo offecho start!md E:\ws-file-get\xcopy /y \\192.168.1.2\f\SewageData E:\ws-file-get\ /s /e

原创 windows10家庭版不能访问远程桌面解决办法

windows10家庭版不能访问远程桌面解决办法1. 打开注册表，快捷输入 “regedit”（类似找命令提示符 输入 cmd 一样）2.找文件夹 路径：HKLM(缩写)\Software\Microsoft\Windows\CurrentVersion\Policies\System\CredSSP\Parameters大概到System 后就没有了自己创建文件夹就好。3.然后再最底部文件夹里面 新建 DWORD（32）位的。文件名 “AllowEncryptionOracl.