- 博客(25)
- 收藏
- 关注
RSS订阅转载 浅谈hbase
hbase非关系型可实时读写分布式列式存储数据库（列可以动态添加），底层存储可以使用本地文件系统也可以使用hdfs列式数据库的优点：随着业务的增加可以改变数据库的列，而且列中没有数据就没有对应的单元格，列式数据库比较灵活而且节省空间，在定义表的时候不需要指定列，只在插入数据的时候动态来添加列，如果数据比较大了可以横向的来添加存储，只要能将数据转换成二进制，然后通过二进制流的方式就可以写到...
2019-04-29 14:28:00
335
转载 浅谈hive
hive支持sql标准的数据仓库，可以将sql语句转化成mr程序执行。基础分析一般用hive来做，比较复杂的用mr来做数据仓库和数据库的区别 数据仓库：历史数据，面向分析，保证数据的完整性可以允许数据冗余。 数据库：存储结构化，在线数据，面向业务，使用范式来减少冗余。hive中有解析器，编译器，优化器。hive最终会将sql语句转成mr程序（select * from 表 除...
2019-04-27 23:26:00
223
转载 java调用shell脚本
hello_world.txt文件内容 hello world !!!hello_world.sh脚本 #!/bin/bash cat /opt/hello_world.txtjava代码 public static void main(String[] args) throws Exception { String shell_path="/opt...
2019-04-24 01:43:00
237
转载 浅谈flume
flume做日志收集的工具，将数据源导入到指定目标中。flume之间可以相互连接组件 source：如何从数据源中取数据，可以认为是两种主动source（主动取数据）和被动source（推给source，source作为服务接收数据） channel：数据缓冲区 sink：如何将数据写到目标中 上面3个组件都在一个agent中，agent是一个任务安装（依赖jdk...
2019-04-22 22:27:00
149
转载 浅谈storm
storm分布式，可容错的实时计算框架，低延迟能做到毫秒级的响应，storm进程是常驻内存，Hadoop是不断启停的，storm中的数据不经过磁盘，都在内存中，处理完成后就没有了，但是可以写到数据库中，数据的交换经过网络，避免了磁盘io的开销storm的集群需要设置多大还有计算能力如何，一般是看数据吞吐量（每秒处理多少数据）Hadoop和storm的区别 Hadoop是批处理而且每...
2019-04-20 23:57:00
159
转载 浅谈zookeeper
zookeeper用来解决高可用问题，具有高可用，高性能，具有严格的顺序（只要是分布式系统就会是一个严格的顺序）访问控制能力的分布式协调服务，做分布式协调的作用，可以做服务的同步，维护配置文件和命名服务，解决一致性问题（paxos算法，zab协议（zookeeper原子广播）对paxos算法的一种应用）zookeeper提供分布式锁服务，用以协调分布式应用paxos算法https://w...
2019-04-19 13:47:00
128
转载 IntelliJ IDEA 使用教程
在IDEA当中，Project和 Module是作为两个不同的概念，对项目结构是重要意义的eclipse和idea的区别IDEA里面的子工程要称为Module就是模块化的概念，作为聚合工程亦或普通的根目录，它称之为Project，而下面的子工程称为模块，每一个子模块之间可以相关联，也可以没有任何关联。1.初始化步骤2.全局添加jdk（添加默认配置）：File -...
2019-04-09 14:41:00
116
转载 浅谈spark
sparkspark是一个开源分布式计算框架，在于让计算更加快速，通常使用资源调度器yarn和spark自带的资源调度器standalond进行调度，spark相对于Hadoop更加快速，基于它是内存进行迭代，每次通过计算逻辑得到的中间结果值都会存放在内存中，而且最后结果也是从内存到磁盘，而Hadoop则是每次的中间结果都会写到磁盘，读的时候还要从磁盘中读取，最终结果写入的时候也是从...
2019-04-08 21:43:00
268
转载 VM克隆centos7虚拟机并配置网络
笔者这里有个配置好网络的centos7系统，下面将根据这个centos7克隆出一个centos7系统，并配置好网络1.右键虚拟机克隆2.选择创建完整克隆3.克隆机的命名，点击完成4.可看到这里克隆出来了一个cnetos7，启动此虚拟机5.修改UUIDvi /etc/sysconfig/network-scripts/ifcfg-ens33修改其...
2019-04-07 00:03:00
522
转载 VM安装centos7
镜像：笔者采用的是CentOS-7-x86_64-Minimal-1810.iso版本1.创建新的虚拟机2.典型安装与自定义安装典型安装：VMwear会将主流的配置应用在虚拟机的操作系统上，对于新手来很友好。自定义安装：自定义安装可以针对性的把一些资源加强，把不需要的资源移除。避免资源的浪费笔者选中的自定义安装3.虚拟机兼容性选择这里要注意兼容性，如果...
2019-04-06 22:52:00
385
转载 添加本地jar包到maven仓库
mvn install:install-file -Dfile=D:\video-lib\log4j-1.2.17.jar -DgroupId=video -DartifactId=log4j -Dversion=1.2.17 -Dpackaging=jar-Dfile=需要上传的jar包-DgroupId=上传JAR的GroupId-DartifactId=上传...
2018-11-22 17:59:00
84
转载 eclipse通过maven进行打编译
对maven项目中pom.xml右键-->Run As-->Maven build...Goals里面添加assembly:assembly点击run，编译成功后jar包在target目录中转载于:https://www.cnblogs.com/timeTraveler/p/10002458.html...
2018-11-22 17:31:00
243
转载 pom.xml中添加远程仓库
maven的pom.xml中添加远程仓库<repositories> <repository> <id>mvnrepository</id> <name>mvnrepository</name> <url>http://www.mvnrepos...
2018-11-22 17:26:00
1602
转载 maven编译错误maven-assembly-plugin:2.2-beta-5:assembly (default-cli) on project
maven对项目编译时报错[ERROR] Failed to execute goal org.apache.maven.plugins:maven-assembly-plugin:2.2-beta-5:assembly (default-cli) on project video: Error reading assemblies: No assembly descriptors ...
2018-11-22 17:24:00
4558
转载 Java File类
该类主要用于文件和目录的创建、文件的查找和文件的删除，File对象代表磁盘中实际存在的文件和目录。构造方法：给定父file和子路径来创建对象File(File parent, String child);给定路径来创建对象File(String pathname);给定父路径和子路径来创建对象File(String parent, String child);...
2018-11-19 10:30:00
80
转载 centos下配置maven编译环境
版本centos6jdk1.7findbugs-3.0.1maven-3.0.5protobuf-2.6.0安装yum install lzo-devel zlib-devel gcc gcc-c++ openssl-devel ncurses-devel autoconf automake libtool cmake kernel-devel glibc-headers svn git...
2018-11-12 21:13:00
303
转载 第二天 汇编语言和启动区
基于第一天的基础上，将机器语言转成汇编语言简单总结了下汇编的指令和寄存器：指令（大小写均可）；注释DB往文件例写入一个字节的指令RESB后接数字，表示空出多少个字节并补上0，RESB 0x1fe-$这里的$表示一个变量，可以返回这一行现在的字节数DW和DB很像，写入2个字节16位DD写入4个字节32位ORG会告诉nask在开始执行的时候把这些机器语言指令转载到内存中的哪个地址，$...
2018-11-06 23:31:00
158
转载 Java+opencv实现人脸检测
版本Java1.8opencv3.4代码：import java.awt.Graphics;import java.awt.image.BufferedImage;import javax.swing.JFrame;import javax.swing.JPanel;import org.opencv.core.Mat;import org...
2018-11-06 17:36:00
170
转载 Linux上安装MangoDB
版本MongDB4.0.3安装tar -zxvf mongodb-linux-x86_64-rhel62-4.0.3.tgz默认的数据目录在/data/db，也可以指定目录启动命令./bin/mongod默认端口是27017后加 --dbpath可以指定数据目录--dbpath=/opt/mongo_data（目录必须先手动创建） --fork表示后台启动 ...
2018-11-04 23:52:00
158
转载 Hadoop集群搭建
版本Hadoop3.1.0https://archive.apache.org/dist/hadoop/common/hadoop-3.1.0/jdk1.8zookeeper3.4.6https://archive.apache.org/dist/zookeeper/zookeeper-3.4.6/环境3台centos6节点 配置免密钥 ssh-k...
2018-11-04 19:41:00
81
转载 centos6下安装opencv3
环境centos6.5opencv3.3.0python3.4.9下载opencv可从GitHub下载https://github.com/opencv/opencv/tree/3.4.3可自行选择版本python可从官网上下载https://www.python.org/downloads/source/安装python编译安装需要依赖gccyum ...
2018-11-04 13:50:00
312
转载 centos6安装opencv2
环境centos6.5opencv2.4python2.6（centos自带的）下载opencv可从GitHub下载https://github.com/opencv/opencv/tree/2.4可自行选择版本安装opencv安装依赖包yum install cmake gcc-c++ git libgtk2.0-dev pkg-config li...
2018-10-31 23:27:00
118
转载 eclipse打jar包解决第三方依赖包
在项目根目录下手动MANIFEST.MF（eclipse无法自动生成）MANIFEST.MFManifest-Version: 1.0Class-Path: lib/kafka-clients-0.9.0.1.jar lib/slf4j-log412-1.7.6.jar Main-Class: cn.Test注意：第一行:号后面一定要有个空格每个...
2018-10-29 23:42:00
373
转载 sparkStreaming获取kafka数据（java版本）
环境spark-2.2.0kafka_2.11-0.10.0.1jdk1.8配置好jdk，创建项目并将kafka和spark的jar包添加到项目中，除此之外还需要添加spark-streaming-kafka-*****.jar，笔者这里用的是spark-streaming-kafka-0-10_2.11-2.2.0.jar，可在spark官网上自行下载 1 ...
2018-10-29 11:30:00
1094
转载 第一天 hello world
二进制编译工具生成img软盘执行文件二进制编译工具https://pan.baidu.com/s/1j3wAsFxTLWv17V55iNKJJw利用Bz.exe工具写操作系统自启程序:前0000:0083位置如下：0000:0090位置一直到0016:8000之后全是0这两处要注意不为00写完保存为.img格式文件https://pan.baid...
2018-10-28 17:54:00
59
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人