布里啾啾迪布利多的博客

ORC支持三种压缩：ZLIB,SNAPPY,NONE。最后一种就是不压缩，orc默认采用的是ZLIB压缩。1.创建一个不压缩的ORC存储方式表create table test_orc_none (track_time string,url string,ip string)row format delimited fields terminated by '\t'stored as orc tblproperties("orc.compress"="NONE") ;insert in

使用UE去除文档或脚本中的多余空格：按ctrl+r会出现查找和替换的框1.删除空格: [ ^t]+$2.删除空行: %[ ^t]++^p3.删除行尾空格: [ ^t]+$4.删除行首空格: %[ ^t]+...

最近在做一个大数据风控的项目，需要从ftp服务器上下载文件到本地服务器，于是写了一个通用脚本与大家分享一下。具体的需求是这样的：一、服务器信息：ftp服务器IP:192.168.216.121登陆用户 :ftp_test登陆密码 :ftp_test数据路径 :/home/ftp_test/数据日期二、实现要求：1、shell实现2、文件获取后对文件的大小和...

1.首先要查看你的服务器上是否安装有vsftpd软件命令是这玩意：rpm -qa |grepvsftpd我的服务器上显示了一堆这玩意，一瞅就是没安装过。2.接下来直接用yum安装，命令是这玩意：yum-yinstallvsftpd至此整个软件已经安装完事了，然后我们要修改一哈它的配置文件。3.由于是用yum安装的所以它的安装目录默认在/etc/vsftpd/...

1.修改默认背景色打开CRT的Options选项-->Global Options-->Default Session-->Edit Default Settings...-->Emulation-->Terminal--选择linux,然后点ok.2.修改全局的编码格式打开CRT的Options选项-->Global Options--...

1.安装介质Mysql    http://dev.mysql.com/downloads/mysql/     本次使用mysql-5.6.29-linux-glibc2.5-x86_64.tar.gz2.安装过程2.1主机配置a)关闭防火墙service iptables stop chkconfig iptables off chkconfig --list ip...

今天搭了个springboot的小demo,但是启动的时候报了这个错误:scription:Failed to auto-configure a DataSource: 'spring.datasource.url' is not specified and no embedded datasource could be auto-configured.Reason: Failed to ...

今天,用springboot新建个项目报了个这个问题,看了一下控制台的错误输出日志,有两个jar包报错.解决方案:1.找到maven仓库的配置地址2.找到仓库里对应的显示报错的jar包,将其最内层的文件夹删除3.然后回到eclipse,在项目上右键选择Maven然后选择Update Project4.问题解决!...

组件节点默认端口配置用途说明HDFSDataNode50010dfs.datanode.addressdatanode服务端口，用于数据传输HDFSDataNode50075dfs.datanode.http.addresshttp服务的端口HDFSDataNode50475dfs.datanode.https.addresshttps服务的端口HDFSDataNode50020dfs.datan...

快捷键：1、 ctrl + a :  移动光标到行首2、 ctrl + e ：移动光标到行尾3、 ctrl + d ：删除光标之后的一个字符4、 ctrl + w ： 删除行首到当前光标所在位置的所有字符5、 crtl + k ： 删除当前光标到行尾的所有字符6、 alt + b ： 打开快速启动栏7、 alt + 1/2/3... ： 在多个不同的session标签之间切换secureCRT里切...

        1.在window系统中打开ipython, 创建一个密文密码 2.修改默认配置 3.启动jupyter即可 4.在windows采用ip+端口号访问即可 >>>jupyter notebook --generate-config ========================================== In [1]: from notebook.au...

1 ．  维度建模基本概念维度建模(dimensional modeling)是专门用于分析型数据库、数据仓库、数据集市建模的方法。数据集市可以理解为是一种"小型数据仓库"。维度表 (dimension)维度表示你要对数据进行分析时所用的一个量,比如你要分析产品销售情况,你可以选择按类别来进行分析,或按区域来分析。这样的按..分析就构成一个维度。再比如"昨天下午我在星巴克花费 200 元喝了一杯卡...

1 ． NameNode  概述a、 NameNode 是 HDFS 的核心。b、 NameNode 也称为 Master。c、 NameNode 仅存储 HDFS 的元数据：文件系统中所有文件的目录树，并跟踪整个集群中的文件。d、 NameNode 不存储实际数据或数据集。数据本身实际存储在 DataNodes 中。e、 NameNode 知道 HDFS 中任何给定文件的块列表及其位置。使用此信...

一.安装准备工作安装参考文档:ELK官网：https://www.elastic.co/ELK官网文档：https://www.elastic.co/guide/index.htmlELK中文手册：https://www.elastic.co/guide/cn/elasticsearch/guide/current/index.htmlELK中文社区：https://elasticsearch.c...

1.什么是Phoenix?　phoenix，中文译为“凤凰”，很美的名字。Phoenix是由saleforce.com开源的一个项目，后又捐给了Apache基金会。它相当于一个Java中间件，提供jdbc连接，操作hbase数据表。Phoenix是一个HBase的开源SQL引擎。你可以使用标准的JDBC API代替HBase客户端API来创建表，插入数据，查询你的HBase数据。Phoenix的团...

一.开始准备工作1.首先，你的电脑不一定要高配置，但是必须得是双屏，而且越大越好，如果能一个横屏一个竖屏那就更好了。这样，一个用来查资料，一个用来写代码。总之要显得信息量很大，效率特别高。2.再次，你的椅子不一定要舒服，但是一定要可以半躺下。3.然后，要有大量便签，最好是各种颜色的，用来记录每天要完成的事务。尽量沿着电脑屏幕边框贴满，这样，更能显出有很多事情的样子。4.工具书，机械工业，orell...

一.SSH协议简介:SSH 为 Secure Shell 的缩写,是一种网络安全协议，专为远程登录会话和其他网络服务提供安全性的协议。通过使用 SSH，可以把传输的数据进行加密,有效防止远程管理过程中的信息泄露问题。从客户端来看，有两种验证方式：基于密码、基于密钥1. 用户名密码验证方式说明：（1） 当客户端发起 ssh 请求，服务器会把自己的公钥发送给用户；（2） 用户会根据服务器发来的公钥对密...

高等数学常见函数求导导数运算法则复合函数求导方向导数与梯度（难点）凸集与凸函数一元函数求极值多元函数求极值（了解）拉格朗日乘子法泰勒公式展开空间解析几何和向量代数线性代数 矩阵的定义，矩阵的转置单位矩阵，三角矩阵，对称矩阵向量内积，相关性正交向量组，标准正交基，正交矩阵特征值分解概率论事件的关系与运算条件概率，全概率公式，贝叶斯公式随机变量的期望，方差协方差，相关系数，协方差矩阵概率分布：0-1分...

一.为什么要对数据仓库进行分层?1.用空间换时间，通过大量的预处理来提升应用系统的用户体验（效率），因此数据仓库会存在大量冗余的数据.2.如果不分层的话，如果源业务系统的业务规则发生变化将会影响整个数据清洗过程，工作量巨大.3.通过数据分层管理可以简化数据清洗的过程，因为把原来一步的工作分到了多个步骤去完成，相当于把一个复杂的工作拆成了多个简单的工作，把一个大的黑盒变成了一个白盒，每一层的处理逻辑...

start_kafka.sh#!/bin/shfor host in node-1 node-2 node-3do        ssh $host"source/etc/profile;nohup /export/servers/kafka/binkafka-server-start.sh        /export/servers/kafka/config/server.properties...