- 博客(38)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 带你入门GeoSpark系列之三【空间查询篇】
系列目录带你入门GeoSpark系列之一【环境篇】带你入门GeoSpark系列之二【Spatial RDD篇】带你入门GeoSpark系列之三【空间查询篇】1.空间范围查询( Spatial Range Query)空间范围查询，顾名思义我们可以给定一个范围（query window），然后查询出包含在当前范围内的地理对象。1.1 数据准备创建checkin1.csv在 data/...
2020-04-16 19:33:12
3279
9
原创 带你入门GeoSpark系列之二【Spatial RDD篇】
系列目录带你入门GeoSpark系列之一【环境篇】带你入门GeoSpark系列之二【Spatial RDD篇】带你入门GeoSpark系列之三【SQL&空间查询&索引篇】1、基本地理数据概念GeoSpark本质还是对地理要素进行操作，所以它支持了常用的一些地学几何图形。几何图形中主要有三个要素：点，线，面。横纵坐标构成点，多个点构成线，环线构成面，点线面混合构成几何集...
2020-02-11 15:55:07
3494
6
原创 带你入门GeoSpark系列之一【环境篇】
前言由于项目需要处理一些地理空间数据，而原生Spark不能满足，这几天捣鼓GeoSpark有一些收获，开个坑总结一下。GeoSpark介绍GeoSpark是基于Spark之上的分布式群集计算系统。GeoSpark扩展了Spark Core和SparkSQL并提出了空间弹性分布式数据集（Spatial Resilient Distributed Datasets (SRDDs)）同时提供了可视...
2020-02-11 13:06:10
2984
原创 Python将excel中的每个sheet拆分保存成单独csv文件
1.场景1个Excel文件中包含很多个sheet，需要将每个sheet数据单独导出成csv，手动转换实在太麻烦，就写了个脚本。思路也很简单，就是遍历每一个sheet然后用pandas的to_csv()方法完成转换2.Codeimport xlrdimport pandas as pdimport osimport shutildef excel2csv(excel_file): ...
2020-02-04 15:21:23
5825
1
原创 解决spark on yarn每次都上传$SPARK_HOME/jars的问题
1.前言每次提交Spark on Yarn作业时， Spark都会把$SPARK_HOME/jars下的jar打包成zip上传到hdfs分布式缓存中这样在生产上是不合适的，会浪费不必要的网络资源2.官方说明http://spark.apache.org/docs/latest/running-on-yarn.html如果我们在使用Spark on Yarn时如果为设置spark.ya...
2019-10-24 15:08:40
1120
转载 CDH集群离线部署
文章目录1.为什么使用离线部署2.准备工作2.1 离线部署主要分为三个模块:2.2 集群规划2.3 离线部署包下载3.集群节点初始化3.1 准备三台机器3.2 修改当前笔记本或台式机配置hosts文件3.3 设置所有节点的hosts文件3.4 关闭所有节点的防火墙及清空规则3.5 关闭所有节点的selinux3.6 设置所有节点的时区一致及时钟同步3.7 JDK部署3.8 hadoop001节点离...
2019-10-05 21:39:20
613
原创 Hive自定义UDF函数
文章目录1.UDF函数分类2.自定义UDF函数2.1 导入Maven依赖2.1 编写自定义函数2.2 打包成jar并上传到hive所在服务器2.3 注册UDF函数2.3.1 临时注册1.UDF函数分类UDF : User-Defined Function （用户自定义函数）一进一出UDAF : User-Defined Aggregation Function（用户自定义聚合函数） 多进一出...
2019-10-04 21:57:37
841
原创 Azkaban 3.X Cannot find 'database.properties' 踩坑
前言今天下载azkaban并编译，使用solo模式运行。在我解压后运行start-solo.sh时出发现运行失败，查看日志发现如下错误[hadoop@hadoop001 azkaban-solo-server]$ tail bin/soloServerLog__2019-09-25+15\:43\:52.out 2019/09/25 15:44:00.193 +0800 INFO [Azka...
2019-09-25 16:01:26
1748
2
转载 Cesium调用天地图服务【亲测可用】
废话不多说直接上代码var viewer = new Cesium.Viewer("cesiumContainer", { animation: false, //是否显示动画控件 baseLayerPicker: false, //是否显示图层选择控件 geocoder: true, //是否显示地名查找控件 timeline: false, /...
2019-09-17 15:54:36
2041
原创 Intellij IDEA远程向hadoop集群提交mapreduce作业
1.准备一份写好的mapreduce代码2.本地添加yarn-site.xmlhadoop001改为你对应的集群hostname<?xml version="1.0"?><configuration> <!-- Site specific YARN configuration properties --> <property>...
2019-09-02 10:31:14
377
转载 Windows 下/bin/bash: line 0: fg: no job control一般解决方法
hadoop版本2.7.1在mapred-site.xml中添加配置<property> <name>mapreduce.app-submission.cross-platform</name> <value>true</value></property>
2019-09-02 10:13:19
733
1
原创 idea本地配置连接远程hadoop集群的一些网络问题解决汇总
1.Hadoop本地开发，9000端口拒绝访问解决将hosts中的主机名hadoop001指向0.0.0.0而不是127.0.0.1原理参考博客: https://blog.csdn.net/yjc_1111/article/details/53817750[hadoop@hadoop001 data]$ cat /etc/hosts127.0.0.1 localhost local...
2019-08-26 11:52:23
1229
原创 京东云修改Hostname，Centos7修改Hostname
京东云默认hostname是JD，在搭建Hadoop环境中各种出错，网上搜修改方式半天没有结果，各种尝试终于成功直接上代码！使用命令 hostnamectl set-hostname 主机名主机名来修改，修改完毕后重新 SHELL 登录即可。# 修改hostname并退出[root@JD ~]# hostnamectl set-hostname hadoop001[root@JD ~]#...
2019-08-25 23:55:01
673
原创 HDFS HA failover邮件预警脚本
1.脚本get_hdfs_ha_state.sh#!/bin/bashNN1_HOSTNAME=""NN2_HOSTNAME=""NN1_SERVICEID=""NN2_SERVICEID=""NN1_SERVICESTATE=""NN2_SERVICESTATE=""#failover预警邮箱[email protected]#CDH_BIN_HOME=/...
2019-08-25 15:22:37
338
原创 shell脚本快速入门
1.HelloWorld代码#!/bin/bash echo "Hello World"#! 是一个约定的标记，它告诉系统这个脚本需要什么解释器来执行，即使用哪一种 Shellecho 命令用于向窗口输出文本运行# 将上面的代码保存为hw.sh并按:wq保存[root@ruozedata001 learn_shell]# vim hello.sh# 使脚本具有执行权限[roo...
2019-08-25 12:31:26
295
原创 CentOS 通过465端口发送QQ邮件
1.QQ邮箱开启SMTP并获取授权码进入QQ邮箱，选择设置-账户，开启如图两个SMTP，并获取授权码2.关闭sendmail服务[root@ruozedata001 ~]# service sendmail stop [root@ruozedata001 ~]# chkconfig sendmail off3.修改/etc/postfix/main.cf[root@ruozedata...
2019-08-24 19:23:43
1908
原创 HDFS&Yarn HA 集群部署（三台机器）
文章目录1.规划&环境准备1.1 软件准备1.2 主机规划2.安装前准备2.1 添加hadoop用户并创建目录2.1.1 添加hadoop用户2.2.2 创建目录2.2.3 配置Hosts使ip与hostname绑定2.2.4 安装rz和sz命令2.2.5 配置Hadoop的SSH互信2.2.6 上传需要安装的软件2.2 软件安装2.2.1 Jdk安装2.2.2 Zookeeper安装&...
2019-08-22 00:05:34
689
原创 HDFS HA和Yarn HA架构的概念和区别
文章目录1.HDFS HA的概念和架构2.Yarn HA概念和架构最近开始自学大数据，学习过程中将一些知识点整理一下，方便自己复习1.HDFS HA的概念和架构什么是HA？ HA全称是High Availability，也就是高可用的意思。在企业中往往会使用集群来解决可用性问题，实现高可用。在HDFS的架构中，NameNode是负责客户端请求的响应以及元数据的管理（查询，修改等），所以N...
2019-08-18 18:59:41
1433
原创 hadoop-2.6.0-cdh5.15.1源码编译添加压缩支持
文章目录1.前言2.环境准备直接从 Cloudera官网下载的hadoop-2.6.0-cdh5.15.1是不支持压缩的，而生产上往往需要这方面的支持，所以需要自行下载源码并编译，这里记录一下自己编译的过程。1.前言首先我们使用命令hadoop checknative查看官方下载的hadoop-2.6.0-cdh5.15.1对压缩支持的情况[root@suddev bin]# hado...
2019-08-05 11:35:12
1262
原创 SpringBoot整合ElasticSearch报NoNodeAvailableException: None of the configured nodes are available新解决方案
1.背景笔者之前写了一篇关于SpringBoot整合Elasticsearch的文章[文章链接]，有评论说不同的Elasticsearch版本会出现NoNodeAvailableException: None of the configured nodes are available的问题。今天帮同学整合时项目复现了这个问题，百度了很久终于解决，这里写出自己的办法，可供参考。2.环境JDK ...
2019-05-31 19:13:37
1738
原创 Yarn 运行报错 Could not get pid for container_****
提交mapreduce的example案例到YARN上运行时，一直卡在map 0% reduce 0%,报错提示:Job job_** failed with state FAILED due to: Application application_*** failed 2 times due to AM Container for appattempt_*** exited with exi...
2019-04-17 17:27:14
934
1
原创 Manjaro Linux系统 ssh：connect to host localhost port 22: Connection refused解决方法
安装Hadoop的时候，需要配置ssh无密登录 运行ssh localhsot的时候会报错： ssh：connect to host localhost port 22: Connection refused 因为我个人安装的是Manjaro Linux所以这里给出Manjaro系统的解决办法因为Manjaro默认是安装了ssh的所以我们只需要将它启动就可以了参考命令:# sys...
2018-12-27 23:18:21
2334
原创 ElasticSearch安装elasticsearch-head插件
1.前言elasticsearch-head是用于浏览Elastic Search集群并与其进行交互的Web前端，也算必备插件了 项目git地址2.安装elasticsearch-head插件官方给出了多种安装和使用方式，这里列出几个比较方便的1.使用官方提供的Chrome插件(推荐)这个方法我个人认为最方便，几乎免安装 插件地址2.使用内置服务器运行git...
2018-04-04 22:03:32
927
原创 ElasticSearch安装ik中文分词器
1.前言使用ES作为搜索引擎，不得不说ES默认的中文分词做的不怎么好，所以安装了网上推荐的ik中文分词器 项目git地址2.项目环境：JDK 1.8 Spring Boot 2.0.0.RELEASE ElasticSearch 5.6.8 elasticsearch-analysis-ik-5.6.8 Deepin Linux 15.53.安装IK 中文分词器...
2018-04-04 21:59:10
653
1
原创 SpringBoot2.0整合ElasticSearch5.x
1.前言网上很多整合教程都是基于SpringBoot1.5的，而SpringBoot1.5只支持2.x版本的ElasticSearch，而我想要使用5.x系的ES，折腾半天终于弄好了，这里记录一下2.项目环境：JDK 1.8 Spring Boot 2.0.0.RELEASE ElasticSearch 5.6.8 Deepin Linux 15.53.搭建Sprin...
2018-04-01 22:24:29
8966
5
原创 SpringBoot通过RequestContextHolder获取HttpRequest和HttpResponse
Mark一下 开发时，有时候会遇到在一些方法中，函数参数并没有给出request,response或者session，那该怎么解决呢 我们可以通过SpringBoot提供的RequestContextHolder获得ServletRequestAttributes requestAttributes = (ServletRequestAttributes) RequestContextHo...
2018-03-06 22:09:56
32454
原创 支付宝当面付接入之DEMO简单解读
以前项目接入支付宝时做过一些笔记，这里整理一下本次测试均在沙箱环境下进行 常用支付宝文档沙箱登录：https://openhome.alipay.com/platform/appDaily.htm沙箱环境使用说明：https://doc.open.alipay.com/doc2/detail.htm?treeId=200&articleId=105311&do...
2018-03-06 22:00:10
15513
转载 spring在静态方法中使用注入类
在开发时遇到需要将多个来源的数据转换为统一的格式，不同来源的数据转换逻辑不同。所以想利用工厂模式 让所有的转换类继承一个公有的类 然后在工厂类中根据不同的来源 返回不同的实例。比如在处理A数据源时 返回AConverter，处理B数据源时 返回BConverter 一开始的写法：@Component public class ConverterFactory {@Resourcepr...
2018-02-28 12:30:23
847
原创 Java 8 Stream 流的重用
Java 8 Stream 流已被操作或关闭(stream has already been operated upon or closed)，在Java 8中，Stream不能重复使用，一旦被使用，流将被关闭。那有些时候我们需要重复使用流该怎么办呢? 我们可以巧用java 8的Suppliers接口 Supplier接口产生一个给定类型的结果。与Function不同的是，Supplie...
2018-02-26 19:12:25
5736
原创 利用Stream聚合函数对BigDecimal求和
数据库查找的结果经常会有List等集合，而集合中存放法是JAVA对象，对象中存在BigDecimal的字段，如果用for或者iterator遍历来累加感觉很麻烦，stream聚合函数很好的解决了这个问题．做个笔记mark一下POJOpackage test;import java.math.BigDecimal;/** * 用户实体类 * * @author su...
2018-02-26 11:33:52
70666
13
原创 常用JSON工具类JsonUtil封装
j解决项目中String转Object以及Object转Json字符串的需求，封装一个常用JsonUtil工具类
2017-11-29 22:16:31
38566
3
原创 Java中的SPI机制
1 SPI机制简介SPI的全名为Service Provider Interface.大多数开发人员可能不熟悉，因为这个是针对厂商或者插件的。在java.util.ServiceLoader的文档里有比较详细的介绍。简单的总结下java spi机制的思想。我们系统里抽象的各个模块，往往有很多不同的实现方案，比如日志模块的方案，xml解析模块、jdbc模块的方案等。面向的对象的设计里，我们一般推荐模块
2017-11-15 21:09:14
350
原创 nginx代理后如何获取request的真实ip
今天写接口时需要获取用户真实ip,但是线上服务器是通过nginx代理的,通过request.getRemoteAddr();获取到一直是127.0.0.1.很头疼.,解决办法如下1.首先要在nginx中增加一个header,即把用户ip保存下来 在nginx.conf中增加proxy_set_header X-real-ip $remote_addr;示例location /
2017-11-13 22:03:00
1833
原创 IntelliJ IDEA中怎么查看方法说明快捷键
不同系统快捷键可能不同,对应功能是View中的Quick Documentation 我这里是快捷键 Ctrl+Q 效果,弹出框是可以拖动,点击右上边按钮，可以修改字体大小.方便查看方法的文档注释
2017-11-11 15:41:41
21668
1
原创 [LeetCode] Two Sum
Given an array of integers, return indices of the two numbers such that >they add up to a specific target. You may assume that each input would have exactly one solution, and you >may not use the
2017-11-06 22:37:06
216
原创 java中Integer与int比较浅谈
Integer与int区别Integer a = 300 ;Integer b = 300;int c = 300;System.out.println(a == b);System.out.println(a == c);Integer int1 = 100;Integer int2 = 100;System.out.println(int1 == int2);
2017-06-27 17:32:50
1621
1
原创 [R语言入门]R 语言数据操作总结
R拥有许多用于存储数据的对象类型这里对基本数据和操作做一下总结，也方便以后自己查阅一、R中的基本对象R中对象有5种基本类型：字符(character)数值(numeric: real numbers)整数(interger)复数(complex: 4+2i)逻辑(logical:TRUE,FALSE)R中对象有4种基本属性：名称(name)维度(dime
2017-02-02 16:58:28
1430
SAP_HANA_SQL_Script_Reference_en.pdf
2019-08-05
JSR规范大全
2018-04-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人