- 博客(33)
- 收藏
- 关注
RSS订阅原创 springboot2 中MultipartFile类型（单文件和多文件） + 普通参数类型 实现上传功能
。。。。直接上代码得了。。没啥好说的。。。 //上传 --暂时放在测试服务器 关于描述和类型参数暂时不知道如何使用 @RequestMapping(value="/upload",method = RequestMethod.POST) public Result upload(@RequestPart(value = "filecontent") MultipartFile multipartFile, @RequestPar
2020-12-14 13:56:39
2392
1
原创 Flink + kafka +( join) oracle +redis 【从部署到代码实例，kafka权限认证，flink on yarn】
1.起初准备：一、hdfs redis yarn kafka zookeeper 等等 基础部署系统（百度很多，不讲解）二、flink 安装（on yarn）
2020-07-27 17:36:56
1116
3
原创 Python3.6 Anocanda windowns 安装 cv2 也就是 opencv_python 的 各种坑
1. 网上查的一些 坑爹 方案：【1】conda install -c conda-forge/label/cf201901 opencv 更新一半 就停了 简直就是 KENG DIE【2】 pip install opencv 或者是 pip3 install opencv 简直就是胡扯 linux 中也许能性，wind...
2019-11-13 17:03:14
696
原创 spark 读取 Oracle 以及 kafka 数据 ( GeoPoint 坐标数据类型 ) 做Join 并插入ES 【原创】
一、kafka 模拟数据：【1】模拟数据实体类：public class CarDataTest { private String lat; private String lon; private String location; private String status; private String terminaltype; --...
2019-11-06 19:53:45
793
原创 IDEA windows10 远程调试 pyspark （windows IDEA 无法配置 Anaconda的环境变量）
【1】 windows 10 版本的 Anaconda3 安装 后 目录下是没有bin 目录的，（虽然网上很多帖子写到了要把 anaconda 下的 3个目录加入环境变量，如下图，但是 对于IDEA来说 ，没有一个管用！ 也就是说是只能用 Anaconda 的自带编辑器去写东西）《也许是技术不够，不会配置的原因，实在感觉windows 不如 mac 来的方便》【2】在linux 安装A...
2018-06-22 12:18:12
956
原创 spring 2.0 多数据源配置(亲测 代码附上)
maven 文件：<dependencies> <dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId> <version>1.1.6</version
2018-06-11 20:08:55
309
原创 hive （2.01）读取 json 格式 的处理方式 2018-4-24
测试json 数据 格式 样例：{"data":{"dt":"2018-12-13","hu":"17:17:17"},"web":{"web":"maitianzaixian.com.cn","whichfor":"computer"},"house":{"home":"yuanyangguoji","areo":400,"price":3400,"num":"10#102"}}
2018-04-24 10:13:13
587
转载 《转载，亲测通过》hbase hive 数据表映射关联
Hive整合HBase的环境配置以及测试1，环境配置因为Hive与HBase整合的实现是利用两者本身对外的API接口互相通信来完成的，其具体工作交由Hive的lib目录中的hive-hbase-handler-.jar工具类来实现。所以只需要将hive的 hive-hbase-handler-.jar 复制到hbase/lib中就可以了。切换到hive/lib目录下输入:
2018-04-11 15:12:17
859
原创 IDEA 打包 spark 程序 并在远程 hadoop HA 上运行测试
1. idea 安装创建 （略）2。创建 scala 的 Maven 项目 （略）3。导入maven 依赖 （重要）<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://ma...
2018-04-09 14:54:32
448
原创 win10 IDEA 链接远程hadoop 2.6 集群
win10 准备:1。下载 hadoop2.6-CDH5.7.5 解压 //重要说明：CDH 和 普通版本不一样2。下载 winutils .exe ( hadoop2.6-CDH5.7.5版本 )3 .将winutils.exe 放入 hadoop2.6/bin 中 ，同时添加环境变量，4 将登陆用户设置成英文名字，进入计算机管理界面，本地用户，用户，改成英文的...
2018-03-27 16:31:44
894
原创 Hbase1.25 Bulkload 代码实测版（详细图文）
描述 不说 百度！代码：package HbaseBulkLoadTest;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;import org.apache.hadoop.hbas...
2018-03-26 19:00:09
1610
转载 Hadoop 海量小文件处理 InputFormat RecoreReader
TextInputFormat提供了对文本文件的处理方式，通过InputSplit进行分片（FileSplit），每一个分片分别new一个LineRecordReader进行读取解析，解析得到的每一行以<key, value>的形式传给Mapper的map()函数。应用示例：随机生成100个小数并求最大值。MapReduce自带的输入类型都是基于HDFS的，本示例不从HDFS读取数据，...
2018-03-12 17:52:11
198
翻译 WIN 10 java 安装 （错误异常处理）
JDK的安装1.配置信息：①JAVA_HOME指明JDK安装路径，安装时所选择的路径C:\Program Files\Java\jdk1.7.0_80，此路径下包括lib，bin，jre等文件夹（此变量最好设置，因为以后运行tomcat，eclipse等都需要依*此变量）； ②Path使得系统可以在任何路径下识别java命令，设为：%JAVA
2017-10-24 17:43:50
5403
原创 Phoenix 使用脚本方式导入 hbase
1. 说明phoenix自带了执行sql脚本的功能，这样方便了希望能够直接将一些关系型数据库的数据进行迁移到Hbase（也可以直接使用sqoop进行导入）。2. 创建脚本在【PHOENIX_HOME】目录下创建user.sql，内容如下：-- create table usercreate table if not exists user (id
2017-08-17 09:45:22
896
原创 Phoenix 采用bulkload 导入 hbase （2017-8-16）
本地CSV文件测试：2. 创建表在phoenix的CLI界面创建user表。> create table CSV_BULK_LOAD (id varchar primary key,account varchar ,passwd varchar);3. 添加测试数据在【PHOENIX_HOME】目录下创建data.csv，内容如下：001,google,AM
2017-08-16 18:07:37
1960
转载 squirrel hbase Phonenix 三者集成
②需要点击“Drivers”，将phoenix的驱动添加进去。③点击左上角 蓝色的 “ + ” 加号，添加按上面的顺序，依次填写。第一步，Name：随便写个名字，标记连接；第二步，Example URL：相当于mysql的jdbc连接串，这里的alias写zookeeper的主机名称，端口号，可以写，可以不写，我一般不写；第三步，选择Phoeni
2017-08-11 10:56:29
458
原创 Phonenix4.9 （添加二级索引，新版本本地索引表变更） hbase1.25的集成测试
1.安装habse 1.25 2.下载并且解压 Phonenix 4.9 （所有节点） 我用的是：apache-phoenix-4.9.0-HBase-1.2-bin.tar.gz 3. 将Phonenix 的 lib 中的所有jar包 拷贝到hbase的里面 （所有节点）4.把hbase 中 conf 里面的
2017-08-11 09:27:29
496
转载 spark HA 模式搭建《加入hbase依赖》 （2018【改进红色字体】详细配置）《转载》
一、准备服务器环境1.1、服务器规划ZooKeeper ClusterHostIPzookeeper1192.168.50.228zookeeper2192.168.50.229zookeeper3192.168.50.230Spark HA ClusterHOSTIPMasterWorkernn1192.168.50.221YNnn2192.168.50.222YNdn1192.168.50.2...
2017-07-26 11:10:35
500
原创 sequenceFile 转换，并导入至hbase中 (图文解说 2017-7-23)
我找了几个图片作为数据： 总共有5张（粉色的）先上传至hdfs hdfs://172.16.11.222:9000/JpgSequence想要生成的sequencefile 的位置："hdfs://172.16.11.222:9000/Sequence/bb.txt";具体步骤和解释全在代码里面标注《看完请评价》：直接上代
2017-07-25 16:27:40
1486
转载 hadoop2 （2017-7-21修改）对SequeneceFile 的（读写）操作
写操作根据上一篇的介绍，在hadoop2.x之后，Hadoop中的SequenceFile.Writer将会逐渐摒弃大量的createWriter（）重载方法，而整合为更为简洁的createWriter()方法，除了配置参数外，其他的参数统统使用SequenceFile.Writer.Option来替代，具体有：新的API里提供的option参数：
2017-07-21 17:51:43
428
转载 转载 log4j的自定义级别 Java程序
1.StormLog代码如下import org.apache.log4j.Level;import org.apache.log4j.Logger;import org.apache.log4j.NET.SyslogAppender;public class StormLog {/*** 继承Level*/private stati
2017-06-23 16:04:40
591
转载 IDEA 上的 Git使用
1、git简介Git是目前流行的分布式版本管理系统。它拥有两套版本库，本地库和远程库，在不进行合并和删除之类的操作时这两套版本库互不影响。也因此其近乎所有的操作都是本地执行，所以在断网的情况下任然可以提交代码，切换分支。git又使用了SHA-1哈希算法确保了在文件传输时变得不完整、磁盘损坏导致数据丢失时能立即察觉到。git的基本工作流程：git clone：将远程的
2017-06-05 11:04:57
416
原创 SaprkSql 集成 hive 两种方式 （spark2.0+hive1.22 ）
首先明确 sparkSQl 关联hive的时候 有多种交互方式：spark SQL 和 thrift【先说 thrift】在 $SPARK_HOEM/conf 中的 hive-site.xml中 要去设置以下参数：<property> <name>hive.metastore.uris</name> <value>th...
2017-05-12 16:12:53
2070
转载 Hbase1.2.5 hadoop2.7.3 importsv实例
数据导入有如下几种方式： 1．利用Hbase提供的ImportTsv将csv文件导入到HBase 2．利用HBase提供的completebulkload将数据导入到HBase 3．利用HBase提供的Import将数据导入到HBase利用ImportTsv将csv文件导入到HBase命令：格式：hbase [类] [分隔符] [行键，列族] [表] [导入文件]
2017-05-09 18:56:43
841
转载 idea调试远程spark服务器（2017.04图文，非转载）
我们在编写Spark Application或者是阅读源码的时候，我们很想知道代码的运行情况，比如参数设置的是否正确等等。用Logging方式来调试是一个可以选择的方式，但是，logging方式调试代码有很多的局限和不便。今天我就来介绍如何通过IDE来远程调试Spark的Application或者是Spark的源码。 本文以调试Spark Application为例进行说明，本文用到的IDE
2017-04-11 15:38:35
2899
转载 Centos7.2 修该mysql5.7 （亲测改进版，带图文） root密码
MySQL5.7更改密码时出现ERROR 1054 (42S22): Unknown column 'password' in 'fie07net01.com 发布于 2016-01-14 06:07:38分类：存储阅读(217)评论1．首先确认服务器出于安全的状态，也就是没有人能够任意地连接MySQL数据库。 因为在重新设置MySQL的root密码的期间，MySQ
2017-03-28 12:26:25
406
转载 Linux 安装 YUM《2017最新链接》 以及远程仓
系统：readhat 6.2 linux1、确认RedHat的版本cat /etc/redhat-releaseuname -m我的是 x86_642、在这里手工找rpm包：http://mirrors.163.com/centos/系统6.2，按里面的readme，使用6.0，进入6.0目录，是x86_64，因此依次进入以下目录：os/x86_64/Packages/找以下几份文件下载：...
2017-03-24 12:36:12
1156
转载 Cgroup 图文版操作练习（转载）
cgroup介绍 cgroup是control group的简称，它为Linux内核提供了一种任务聚集和划分的机制，通过一组参数集合将一些任务组织成一个或多个子系统。 Cgroups是control groups的缩写，最初由Google工程师提出，后来编进linux内核。 Cgroups是实现IaaS虚拟化(kvm、lxc等)，P
2017-03-20 17:42:35
480
1
转载 Cgroup 基础操作
一、cgroup介绍： 据官方文档介绍，rhel6为内核准备了一个新特性------资源控制，也即cgroup。此服务的软件包是libcgroup。有了这个，你就可以分配资源，例如:CPU time,系统内存, 网络带宽等。这个是被cgconfig服务所控制的。如果此服务没有启动，在根目录下的cgroup文件夹里就不会存在内容。[root@susir]#/et
2017-03-20 16:52:55
784
原创 Hbase 在Hadoop HA上的部署 （2017.03 修正，图文解说）
hbase-0.98.9-hadoop2 搭建 解压缩，并重命名 1. [root@Master local]#mv hbase-** hbase0.98 //这是我的版本复制代码 修改HBase的配置文件#HBASE_HOME/conf/hbase-site.xml，修改内容如下：
2017-03-14 18:01:39
441
原创 Hadoop2.6 HA 高可靠部署 (2017.03修正，图文解说)
1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系######注意######如果你们公司是租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）/etc/hosts里面要配置的是内网IP地址和主机名的映射关系4.关闭防火墙5.ssh免登陆6.安装JDK，配置环境变量等集群IP，角色信息 nn =namenoderm= resourceman...
2017-03-13 11:34:36
735
原创 Hive2.0 在 Hadoop2.7部署 （2017.03添加异常处理）（图文解说）
1 下载解压略2.安装Mysql,MYSQL的安装略《参照上一篇Mysql部署》 安装好mysql并配置好了之后，还要将连接mysql的驱动：mysql-connector-java-5.1.41.jar 拷贝到HiveHome 目录下的lib文件夹中，这样Hive才可能成功连接mysql。3.创建hive用户
2017-03-09 16:28:15
539
转载 MYSQL 5.7 linux 安装 （转载）
1.下载好了压缩包到windows电脑上 2.使用Smartty的SCP传输到云主机的/home/xxx/下3.解压 tar xvf MySQL-5.7.16-Linux-glibc2.5-x86_64.tar.gz4.给目录重命名 mv mysql-5.7.16-linux-glibc2.5-x86_64 mysql5.7
2017-03-08 19:07:57
223
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人