大数据
文章平均质量分 83
ppp11
在校大学生 在湖南工业大学
展开
-
IO模型性能解析
1.传统的IO是堵塞模型。在接收客户端数据前一直是堵塞。服务端代码如下:public static void main(String[] args) throws Exception { ServerSocket server = new ServerSocket(9090, 20); System.out.println("step1: new ServerSocket(9090) "); while (true) { Sock原创 2020-12-09 11:45:04 · 421 阅读 · 0 评论 -
高并发和负载均衡:网络原理(一)
1.网络原理图: 5层网络结构图,看到这个不知道不太清楚底层的原理。下面就来厘清一下。如有解释不到位的,请另行查验。 a.应用层是我们平时接触到的,比如在socket的连接上,我们要定义连接的ip和port。socket的连接是根据四元组确定一个连接的。这层实际是定义了网络两个端点,通过ip定位那两台主机通讯,端口定义通信的应用程序进程。那么这个连接怎么建立起来的呢,数据又是怎么传输到目标网络主机? b. 应用层定义了连接的端点,传输控制层定义了网络传输协议,包括tcp,udp,tc...原创 2020-12-09 10:55:19 · 541 阅读 · 0 评论 -
centos 7 安装zookeeper 3.5.5
准备三台虚拟机master,slave1,slave2windows上下载apache-zookeeper-3.5.5-bin.tar.gz,让后通过xshell,rz命令,或者winscp连接虚拟机上传。linux上下载wget wget http://mirror.bit.edu.cn/apache/zookeeper/stable/apache-zookeeper-3.5....原创 2019-09-19 17:27:04 · 383 阅读 · 0 评论 -
学习机器学习-持续整理
以前也学习过机器学习,看过一点西瓜书,一段时间没有接触,也就生疏了。 现在打算在工作时间充裕的情况下,学习一下新的知识,充实一下自己,提高自己的技能。从推荐系统开始学习,摸清推荐系统的脉络,能在实际开发中能用到。从数据的清洗,处理,保存,模型选择,训练模型,到模型上线,反馈模型,迭代模型优化。 现在电商很流行,推荐系统必不可少,打算从实战开始学习推荐系统,在实战学习中学习原理和实...原创 2019-09-10 10:00:22 · 152 阅读 · 0 评论 -
Robo 3T操作Mongo DB数据库常用命令
1.简单查询 db.getCollection('kycApplyPersonalRecord').find({'firstName':'123'}) 代表在kycApplyPersonalRecord这个集合中查找firstName为123的文档 通用示例: db.getCollection('集合名').find({'字段名':'字段属性'})2.查询某个字...转载 2019-09-06 10:26:11 · 924 阅读 · 0 评论 -
elasticsearch 字段聚合查询
1. elasticsearch中字段site表示不同的点,需要统计点的个数。实现通过去重,在聚合request body:{ "size":0, "aggs" : { "distinct_colors" : { "cardinality" : { "field" : "site" ...原创 2019-09-04 15:03:44 · 1084 阅读 · 0 评论 -
flume采集日志conf文件配置收集
1.监听目录下日志文件日志采集,下沉到hdfs,channel配置信息。# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = TAILDIRa1.sources.r1.po...原创 2019-08-22 12:57:32 · 579 阅读 · 0 评论 -
Spark sql 集成 Hive , 报的错集
安装好hive和spark后配置hive和sparkhive: hive-env.shexport HADOOP_HOME=/opt/modules/hadoopexport HIVE_CONF_DIR=/opt/modules/hive-1.2.2/confexport HBASE_HOME=/opt/modules/hbase-1.2.1export HIVE_...原创 2019-03-06 23:59:36 · 642 阅读 · 0 评论 -
windows 提交任务到spark集群中work节点报错
在windows 上idea 创建一个scala程序,代码:object RemoteDebug { def main(args: Array[String]) { val conf = new SparkConf().setAppName("Spark Pi").setMaster("spark://192.168.2.153:7077") .setJars(Li...原创 2019-03-05 17:06:20 · 775 阅读 · 1 评论 -
把storm-core改为jstorm-core遇到的坑
在pom中把apache的storm-core包依赖(版本2.1.1)改为alibaba的jstorm-core包依赖,运行程序报错,打印最多的是下面的异常日志。在网上也没有找到相应的解决办法。所有就记录下来:ava.lang.RuntimeException: java.lang.IllegalStateException: Attempting to call unbound fn: #'ca...原创 2018-04-15 20:31:06 · 996 阅读 · 0 评论