- 博客(23)
- 资源 (17)
- 收藏
- 关注
RSS订阅
原创 使用java进行pdf转word实战
package com.ljl; /** * @author * @Package_name PACKAGE_NAME * @Date 2019/4/1 0001 上午 8:30 * @Description */import org.apache.pdfbox.cos.COSName;import org.apache.pdfbox.pdmodel.PDDocument;...
2019-04-01 11:49:41
3061
2
原创 C# 序列化 halcon 图元对象时 需要注意的方面 和解决方法
[Serializable] class MeasureData { public MeasureLineData measureLineData = new MeasureLineData(); public HShapeModel MyShapeModel = new HShapeModel(); public doub...
2020-03-14 22:50:13
2043
原创 c# 遍历文件夹 开启线程
DirectoryInfo root = new DirectoryInfo(@"drill"); FileInfo[] files = root.GetFiles("*.bmp"); Task.Run(() => { for (int i = 0; i < files.Leng...
2020-03-11 15:04:05
549
1
原创 Elasticsearch安装
Elasticsearch安装包下载(一定不要安装在root下 可安装在/opt)1）Elasticsearch官网： https://www.elastic.co/products/elasticsearch2.2 安装Elasticsearch（单节点Linux环境）[root@bigdata13 elasticsearch-5.2.2]# useradd itstar...
2019-05-12 10:15:23
381
原创 Scala 语言的常用集合 高级特性 泛型 柯里化、闭包
Actor实现在Scala不同进程间，进行消息通信（同步消息、异步消息）新Scala API里面，不包含Actor===============Scala语言的常用集合=================================一、可变集合和不可变集合二、列表：不可变列表（List）、可变列表（LinkedList）import scala.collection...
2019-04-29 01:48:28
405
原创 搭建Spark的全分布环境
搭建Spark的全分布环境:tanzhou112 tanzhou113 tanzhou114注意：每台机器的时机是否同步1、在主节点的tanzhou112上搭建(*) 解压 tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C ~/training/mv conf/spark-env.sh.template conf/spark-env....
2019-04-28 09:55:11
269
原创 Storm 集成 HDFS HBase Jdbc Hive Kafka
Storm 提供了接口 /root/training/apache-storm-1.0.3/external1、Redis(*) 除了需要 storm-redis-1.0.3.jarpackage testStorm;import org.apache.storm.Config;import org.apache.storm.LocalCluster;im...
2019-04-27 21:02:35
467
1
原创 Apache Storm
Apache Storm体系结构三、安装和配置Apache Storm（一）Storm的伪分布环境: tanzhou1111、搭建一个ZooKeeper（模式：standalone模式下）（*）解压tar -zxvf zookeeper-3.4.10.tar.gz -C ~/training/（*）设置环境变量ZOOKEEPER_HOME=/root/training/zo...
2019-04-21 15:12:11
332
原创 MemCached主主复制和HA 以及 Redis内存数据库
MemCached主主复制和HA 对端服务器: 版本memcached-1.2.8-repcached-2.2.tar.gz1、一定使用带有复制功能的MemCached（由日本一个工程师）2、主主复制结构3、安装带有复制功能的MemCached版本两台机器：tanzhou112 tanzhou115(1) 解压 tar -zxvf memcached-1.2.8-repcach...
2019-04-21 14:09:47
256
原创 Redis的集群
Redis的集群：1、主从结构：读写分离2、主节点：写数据从节点(s)：读数据3、集群的架构：2种（*）星型模型（*）线型模型参考讲义；P204、使用星型模型，搭建Redis集群（*）读写分离：从主节点写入数据，从节点读取数据（*）任务分离：主节点不负责产生rdb和aof，从节点负责产生rdb和aof（*）配置：三个Redis实例为例主节点：端口63...
2019-04-21 13:36:29
233
转载 分布式锁与实现 基于ZooKeeper实现
分布式锁与实现 基于ZooKeeper实现ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的架构通过冗余服务实现高可用性。因此，如果第一次无应答，客户端就可以询问另一...
2019-04-15 23:20:18
180
原创 zookeeper的环境搭建
zookeeper的环境搭建一般zookeeper的安装部署可以有三种模式，单机模式、伪分布式和分布式，这三种模式在什么时候应用具体看大家的使用场景，如果你只有一台机器且只是想自己开发测试时用，你可以安装个单机模式，简单又实用。如果想装逼但又没有足够的机器，那你可以选择伪分布式的方式搭建，这可以满足你内心高大上的分布式需求又可以满足没有机器的屌丝现状。如果手头有三台以上的服务器，那就可以大展高...
2019-04-15 21:29:52
190
原创 Sqoop Flume 数据采集引擎
Sqoop Flume准备实验的环境：准备Oracle数据库1、实验：前面的实验：Oracle闪回（回收站）2、自带用户：sh/sh ---> 表：sales订单表（大概92万条数据）3、实验环境（*）Oracle版本：10g企业版（*）操作系统：Windows XP4、安装虚拟机：选XP、关闭防火墙数据采集的引擎：Sqoop: 采集关系型数据库Fl...
2019-04-14 23:02:12
485
原创 Sqoop安装配置 Flume安装配置 数据交换引擎： RDBMS ---- Sqoop---- HDFS（HBase、Hive）
1、PigLatin语言分析数据2、Pig自定义函数准备实验的环境：准备Oracle数据库1、实验：前面的实验：Oracle闪回（回收站）2、自带用户：sh/sh ---> 表：sales订单表（大概92万条数据）3、实验环境（*）Oracle版本：10g企业版（*）操作系统：Windows XP4、安装虚拟机：选XP、关闭防火墙数据采集的引擎：Sq...
2019-04-12 22:32:41
355
原创 数据分析引擎：Hive
数据分析引擎：Hive（2.3,在2.2.0版本以后是没有hwi,没有网页访问页面）1、为什么需要数据分析引擎？什么是数据分析引擎？(*) 不懂Java和Scala语言，如何进行大数据的分析？(*) 懂SQL语言, select **** from ****2、常见数据分析引擎：Hive、Pig、Imapla3、Hive是基于Hadoop之上的一个数据仓库Hive HDFS...
2019-04-12 22:14:28
535
原创 Hadoop 2.X的安装与配置
Hadoop 2.X的安装与配置1、Hadoop的安装模式：（1）本地模式（2）伪分布模式（3）全分布模式2、虚拟机：tanzhou111准备工作：关闭防火墙、安装JDK、设置主机名tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/设置环境变量： vi ~/.bash_profileHADOOP_HOME=/root/tra...
2019-04-09 10:39:15
230
原创 使用PigLatin语句分析数据
使用PigLatin语句分析数据(*) load: 加载数据到表中（bag）(*) foreach：对表中的每一条数据tuple进行处理(*) filter: 相当于where(*) group by(*) join : 连接（多表查询）(*) generate: 提取列(*) union/intersect：集合运算(*) 输出：dump 直接打印在屏幕sto...
2019-04-09 10:14:30
764
原创 Hive的Java API 和 数据分析引擎Pig的数据模型 安装和配置, Pig的自定义函数
Hive的Java API1、基于JDBC的方式（推荐）(*) 使用的驱动private static String driver = "org.apache.hive.jdbc.HiveDriver";(*) 启动HIve的serverhiveserver2 & ----> 表示后台启动(*) 错误Caused by: java.lang.Runtime...
2019-04-07 19:18:22
441
原创 hadoop三种环境模式的搭建
Hadoop 2.X的安装与配置1、Hadoop的安装模式：（1）本地模式（2）伪分布模式（3）全分布模式2、虚拟机：tanzhou111准备工作：关闭防火墙、安装JDK、设置主机名tar -zxvf hadoop-2.7.3.tar.gz -C ~/training/设置环境变量： vi ~/.bash_profileHADOOP_HOME=/root/tra...
2019-04-04 14:06:41
416
转载 http://www.bbsxgb.com/?id=21
什么是shell语言？ 1.shell是用户与linux内核之间交互操作的一种接口，通常是bash shell. 2.shell是一门编程语言,即shell脚本(解释行语音) 3.一个系统可以存在多个shell,不同的shell支持的语法不同 shell script ：脚本编程 .sh 意味着脚本的sh
2017-06-16 10:24:51
910
最新全国城市省市县镇街道数据库，4级，47731条，包含经纬度坐标，不会出现查询不到上级地址的情况，最严谨的
2019-06-20
大数据 Hadoop2管理与开发.pdf
2019-04-02
Mysql优化资料
2018-08-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人