- 博客(10)
- 收藏
- 关注
RSS订阅原创 服务器（CentOS）安装MATLAB2016b时报错解决
近日在服务器（CentOS）上安装MATLAB2016b时，按照网上的方法安装，但是最后启动matlab时，报错：error while loading shared libraries: libX11.so.6: cannot open shared object file: No such file or directory，如下图：百度了解决方案，说需安装lib-X11这个软件包：yum...
2020-02-25 19:39:32
521
原创 服务器（CentOS）运行MATLAB脚本（使用CVX工具包）
一、 将.m脚本复制到服务器的/home/ISO/matlab文件夹下：scp -r /Users/loong/Desktop/matlabfile.m/ [email protected]:/home/ISO/matlab二、登录服务器环境： ssh [email protected]三、切换到/home/ISO/matlab下：cd /home/ISO/matlab四、执...
2020-02-14 16:27:51
813
原创 Spark学习总结
本文为Spark学习总结一、Spark概述Apache Spark是用于大数据处理的集群计算框架，它并未使用MapReduce作为执行引擎，而是使用自己的分布式运行环境在集群上执行工作。Spark最突出的表现在于它能将作业与作业之间产生的大规模数据集存储在内存中Spark还是用于构建分析工具的出色平台。为此，Spark项目包括机器学习（MLlib）、图算法（GraphX）、流计算（Spark...
2019-08-29 21:54:40
772
原创 Kudu学习总结
本文为Kudu学习总结一、Kudu简介Kudu是为快速数据的快速分析而生的存储，是专为下一代硬件设计的，可提高跨框架分析性能的，用于构建实时分析应用的原生存储引擎二、Kudu概览1）Kudu的特点Kudu的表定义采用类似于SQL的模式，支持类型: BOOL，INT8，INT16，INT32，INT64，FLOAT，DOUBLE，STRING，BINARY，TIMESTAMP几个子列可...
2019-08-19 21:24:36
589
1
原创 Kafka学习总结
本文为Kafka学习总结一、Kafka简介Apache Kafka是分布式发布-订阅消息系统，是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务1）同时为发布和订阅提供高吞吐量2）可进行持久化操作。将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。通过将数据持久化到硬盘以及replication防止数据丢失3）分布式系统，易于向外扩展。所有的pr...
2019-08-15 20:47:00
319
原创 HBase学习总结
本文为Hive学习总结一、基础HBase是一个在HDFS上开发的面向列的分布式数据库，可实时地随机访问所有对HBase表的访问都需要通过表的主键，行中的列被分成"列族"(column family)，物理上，所有的列族成员都一起存放在文件系统中，同一个列族的所有成员具有相同的前缀HBase自动把表水平划分成区域(region)，每个region由表中行的子集构成，每个region由它所属于...
2019-08-14 22:17:50
430
原创 Hive学习总结
本文为Hive学习总结一、产生背景1)MapReduce编程的不便性2)HDFS上的文件缺少Schema二、什么是HiveHive是构建在Hadoop上的数据仓库,最初用于解决海量结构化的日志数据统计问题官网解释:The Apache Hive ™ data warehouse software facilitates reading, writing, and managing l...
2019-07-22 19:22:25
1243
原创 Hadoop学习总结
本文为Hadoop学习总结，分为HDFS,MapReduce,YARN三部分一、HDFS1个Master(NameNode/NN),N个Slaves(DataNode/DN)1个文件会被拆分为多个BlockBlockSize：128MNN：1)负责客户端请求的相应2)负责元数据(文件的名称,副本系数,Block存放的DN)的管理DN：1)存储用户文件对应的数据块(Block)2...
2019-07-18 23:14:29
651
原创 Log4j+Flume+Kafka+Spark Streaming的相关shell命令
Log4j+Flume+Kafka+Spark Streaming的相关shell命令Flume启动:flume-ng agent \--conf $FLUME_HOME/conf \--conf-file $FLUME_HOME/conf/streaming2.conf \--name agent1 \-Dflume.root.logger=INFO,consoleZookee...
2019-07-10 21:19:18
115
原创 Win10环境下测试Spark Streaming处理端口数据
今日测试了Win10环境下Spark Streaming处理端口数据，过程如下：首先需监听程序对应的端口，由于Win10不存在Linux下的nc命令，需下载netcat，解压后将nc.exe拷贝到C:\Windows下，此时nc -l -p 端口号 即可开始监听，本人的测试端口号为6789，在shell中输入如下命令后：nc -l -p 6789报错：19/07/08 20:43:37 ...
2019-07-08 21:12:13
630
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人