![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
xiaoyaGrace
这个作者很懒,什么都没留下…
展开
-
深入玩转K8S之外网如何访问业务应用
有一个问题就是现在我的业务分配在多个Pod上,那么如果我某个Pod死掉岂不是业务完蛋了,当然也会有人说Pod死掉没问题啊,K8S自身机制Deployment和Controller会动态的创建和销毁Pod来保证应用的整体稳定性,那这时候还会有问题,那就是每个Pod产生的IP都是动态的,那所以说重新启动了我对外访问的IP岂不是要变了,别急,下面我们来解决下这个问题。可以通过Service来解决如上所...原创 2019-11-08 11:35:14 · 187 阅读 · 0 评论 -
基于OpenLDAP_MirrorMode的OpenLDAP高可用
某客户做用户中心项目。使用OpenLDAP做为存储用户信息。LDAP是一款轻量级目录访问协议(Lightweight Directory Access Protocol,简称LDAP),属于开源集中账号管理架构的实现,且支持众多系统版本,被广大互联网公司所采用。目录服务是一种特殊的数据库系统,对于数据的读取、浏览、搜索有很好的效果。同时做为用户中心,数据库的高可用显得尤为重要。在客户生产环境中使用...原创 2019-11-07 15:03:27 · 351 阅读 · 0 评论 -
foreach和foreachPartition的区别
foreach和foreachPartition的区别一,基本使用1,RDD分布式数据集的五大特性 1),A list of partitions(一系列的分区) 2),A function for computing eachsplit(计算每个分片的方法) 3),A list of dependencies on otherRDDs(...原创 2019-11-05 15:22:06 · 1538 阅读 · 0 评论 -
数据类型的一些方法
统计3出现了多少次l=[1,2,3,3,3]print(l.count(3))一,整型,int 记录年龄等整数 age =18age=int(18) 数据类型转换 n = int('12344445') 必须纯数字 不可变类型 二.浮点类型,float age = 2.33age = float(2.33) 也是...原创 2019-11-05 15:11:17 · 100 阅读 · 0 评论 -
字符编码和文件处理
1.字符编码 文件处理软件器动流程1.从硬盘加载到内存2.加载文件到内存3.代码加载文件内容,如果是文本编辑器,屏幕打印,解释器是把代码转换成cpu的指令级2.内存中用unicode,硬盘和网络中用utf-8 windows默认gbk,linux默认utf-83.在读取和存的时候编码方式不一样 找到正确的编码方式可恢复4.encode("utf-8") unicode - >...原创 2019-11-05 15:03:12 · 88 阅读 · 0 评论 -
日期格式转换,获取当前日期
获取当前日期时间:第一种:Date date1=new Date();第二种:Long time = System.currentTimeMillis();日期转换:1:转换成字符串public void test() throws Exception { Long time = System.currentTimeMillis(); Date dat...原创 2019-11-04 15:49:23 · 156 阅读 · 0 评论 -
读取配置文件的值
package com.trip.utils; import java.io.IOException; import java.io.InputStream; import java.util.Properties; //读取配置文件 public class ConfigManager { private s...原创 2019-11-04 15:38:09 · 152 阅读 · 0 评论 -
比hive快10倍的大数据查询利器presto部署
目前最流行的大数据查询引擎非hive莫属,它是基于MR的类SQL查询工具,会把输入的查询SQL解释为MapReduce,能极大的降低使用大数据查询的门槛, 让一般的业务人员也可以直接对大数据进行查询。但因其基于MR,运行速度是一个弊端,通常运行一个查询需等待很久才会有结果。对于此情况,创造了hive的facebook不负众望,创造了新神器---presto,其查询速度平均比hive快10倍,现在就...原创 2019-10-29 14:25:11 · 126 阅读 · 0 评论 -
hive 标准hql建表语法格式
一.标准hql建表语法格式1.官方标准语法:(hql不区分大小写,下面[]里的属性是可选属性)具体参考官网界面:HIVE官网建表说明文档[url=][/url]CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], .....原创 2019-10-28 15:43:13 · 338 阅读 · 0 评论 -
python搞搞大数据之hbase
使用python链接mysql读入一个表并把它再写到hbase 里去(九头蛇万岁)先声明一下需要用的库:俩!!:happybase (写这个的老哥真的happy)pymysql建议使用anaconda进行相应版本匹配安装,在装happybase的时候,conda默认的channel是找不到这个库的你需要使用 conda-forge 镜像参考如下网站:https://a...原创 2019-10-28 15:27:48 · 241 阅读 · 0 评论 -
kafka消息系统
1、简介简 介• Kafka是Linkedin于2010年12月份开源的消息系统• 一种分布式的、基于发布/订阅的消息系统2、特点– 消息持久化:通过O(1)的磁盘数据结构提供数据的持久化– 高吞吐量:每秒百万级的消息读写– 分布式:扩展能力强– 多客户端支持:java、php、python、c++ ……– 实时性:生产者生产的message立即被消费者可见3、基本组件...原创 2019-10-28 15:21:18 · 266 阅读 · 0 评论 -
----impala安装-----
impala安装 安装方式 只有cloudera提供了impala的rpm包 且安装rpm包之间会有依赖问题 所有通常是去下载cloudera所有rpm包制作本地yum源使用yum方式安装 [AppleScript]纯文本查看复制代码 ? 1 cdh5.14.0-centos6.tar.gz ...原创 2019-10-28 14:48:43 · 208 阅读 · 0 评论