自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(38)
  • 资源 (12)
  • 收藏
  • 关注

原创 OpenNMS安装

允许 8980 端口访问 sudo firewall-cmd --permanent --add-port=8980/tcp # 重新加载防火墙规则 sudo systemctl reload firewalld。文件中,每条记录都是一行,定义了一种连接类型、连接来源、目标数据库、用户和使用的认证方法。ident使用基于映射的系统用户身份进行认证(适用于某些类型的网络连接)。peer使用操作系统的用户身份进行认证(通常用于本地连接)。password要求输入密码,但是密码以明文形式发送。

2024-04-28 17:41:53 849 3

转载 hive中的常用日期处理函数

在日常hive计算中,最常用的日期函数有5个:date_format:常用于处理月指标date_add或date_sub: 常用于处理日指标next_day:常用于处理周指标last_day:常用于处理月指标datediff:常用于处理日指标。

2022-09-13 08:25:35 3301

原创 性能调优的必要性

在数据应用场景中,ETL(Extract Transform Load)往往是打头阵的那个,毕竟源数据经过抽取和转换才能用于探索和分析,或者是供养给机器学习算法进行模型训练,从而挖掘出数据深层次的价值。我们今天要举的两个例子,都取自典型 ETL 端到端作业中常见的操作和计算任务。第一个例子很简单:给定数据条目,从中抽取特定字段。这样的数据处理需求在平时的 ETL 作业中相当普遍。想要实现这个需求,我们需要定义一个函数 extractFields:它的输入参数是 Seq[Row]类型,也即数据条目序列;输出结

2022-06-07 16:21:00 213

原创 cdh6.2+ 集成flink1.14.4

文章目录准备一、编译flink二、制作Flink的parcel包和csd文件1. 下载制作脚本2 修改参数3 复制安装包4 编译parcel5 编译csd6 上传文件7 重启CDH server三、CDH集成1.打开CDH登录界面2 进入Parcel操作界面3 分配Parcel4 激活Parcel5 回主界面6.添加flink服务错误1错误2四、验证Flink服务错误3错误4准备版本:Centos7.6JDK1.8Scala2.11Python2.7Git1.8.3.1Apache Mav

2022-05-06 08:46:25 2755 7

转载 如何优化棘手的Spark程序性能问题?

乍一看编写 Spark 程序似乎很容易,如果了解数据的要求和足够的知识,那就是读取数据集、根据键进行连接、然后做一些转换,最后便准备好了一个交付的新数据集!如果您正在使用的数据非常小并且整个转换过程只需要几分钟,则可能会出现这种情况。然而从定义上看,Spark 具有高度可扩展性,当数据量越来越大时,事情可能会失控。相反如果转换可能需要数小时,而需要尝试尽可能缩短执行时间,则可以尝试扩展集群并为此支付更多费用,或者可以尝试优化代码。知道如何解决性能问题并能够优化 Spark 代码(或者只是让它运行得更快)是一

2022-04-25 09:30:09 475

原创 spark本地运行错误(1)

java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration. at org.apache.spark.memory.UnifiedMemoryManager$.getMaxMem...

2022-04-07 09:48:48 1793

原创 idea 无法新建工程

现象:无法新建工程解决方案:查看日志help->show Log in ExploerKotlin插件加载异常造成无法创建项目快速解决问题,直接禁用掉Kotlin插件即可

2021-10-29 17:53:12 3991 3

原创 mysql performance_schema/information_schema授权问题

为mysql创建新用户后,使用root用户登录,进行授权,发现以下错误:翻阅了很多csdn文章,瞎掰的太多了。mysql> grant all on performance_schema.* to 'testuser'@'%';ERROR 1044 (42000): Access denied for user 'root'@'localhost' to database 'performance_schema'mysql> grant all on infor...

2021-07-15 11:30:35 2295

原创 MySql 5.7 修改root密码,解决不用密码也能登录问题

登录mysql ,执行以下语句update mysql.user set authentication_string=PASSWORD("密码") where user='root';update mysql.user set plugin="mysql_native_password";flush privileges;quit;重启mysql服务service mysql restart;或者/etc/init.d/mysql restart...

2021-07-06 16:19:37 196

原创 phoenix 修改表字段

主要记录下apache phoenix修改表字段的一种变通方式,仅供参考 CREATE TABLE IF NOT EXISTS t_appversion ( f_region_id VARCHAR, f_province_id VARCHAR, f_province_name VARCHAR, f_terminal INTEGER , f_phone_model ...

2019-11-06 11:31:21 681 2

原创 pip install 指定国内镜像

今天使用pip下载scrapy 巨慢,查了下资料,可以指定源加速下载pip install -i 第三方源 软件包名下载scrapy pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy常用国内源清华:https://pypi.tuna.tsinghua.edu.cn/simple中国科...

2019-10-31 22:59:56 546

原创 linux 安装lrzsz

总是忘记命令,做个笔记centos 安装rzszyum -y install lrzsz

2019-10-30 14:58:20 242

原创 updates is listed more than once in the configuration 解决方法

删除所有/etc/yum.repo.d/目录下所有repo文件,重新更换一遍源解决更换其他源参考https://mp.csdn.net/postedit/44259343

2019-10-22 14:58:46 391

转载 Spark Streaming场景应用-Kafka数据读取方式

概述Spark Streaming 支持多种实时输入源数据的读取,其中包括Kafka、flume、socket流等等。除了Kafka以外的实时输入源,由于我们的业务场景没有涉及,在此将不会讨论。本篇文章主要着眼于我们目前的业务场景,只关注Spark Streaming读取Kafka数据的方式。 Spark Streaming 官方提供了两种方式读取Kafka数据:一是Receiver-ba...

2019-10-15 10:37:57 185

原创 hive derby.log 位置

使用spark-sql连接hive 数据源 总会出现derby.log 文件,挺碍眼的。查了下资料 在$SPARK_HOME/conf/spark-defaults.conf 添加一下配置即可spark.driver.extraJavaOptions -Dderby.system.home=/tmp/derby整个世界都清净了。...

2019-10-14 15:28:33 895

原创 Hadoop各种压缩的应用场景与使用

什么是文件压缩?一个较大的文件经压缩后,产生了另一个较小容量的文件。而这个较小容量的文件,我们就叫它是这些较大容量的(可能一个或一个以上的文件)的压缩文件。而压缩此文件的过程称为文件压缩。MapReduce 为什么需要文件压缩?Hadoop 之所以需要进行文件压缩,是因为使用文件压缩可以减少文件存储所需要的空间,加快数据在网络和磁盘上的传输。处理大文件时...

2019-10-13 14:28:05 303

原创 hive 动态分区无法删除

最近生产环境出现了一个错误,spark无法写入数据的到hive报以下错误Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Invalid partition for table orc_report_behavior at org.apache.hadoop.hive.ql.metadata.Partition.in...

2019-08-01 20:40:23 1671

转载 Hadoop及HBase使用过程中的一些问题集

本文是我在使用Hbase的过程碰到的一些问题和相应的解决方法,现将这些经过总结分析,以免日后忘记。hadoop新增节点hadoop集群要增加3个节点。在3台主机分别配置了host、与集群内所有机器的ssh登录互信、jdk1.7 等。所有配置、目录等与集群其他机器保持一致。把安装文件拷贝到3台主机后,同时将修改后的配置文件分发到三台主机相应目录中。修改namenode的slaves文件,增加...

2019-07-15 14:50:03 2491

转载 TCP端口状态说明ESTABLISHED、TIME_WAIT

TCP状态转移要点TCP协议规定,对于已经建立的连接,网络双方要进行四次握手才能成功断开连接,如果缺少了其中某个步骤,将会使连接处于假死状态,连接本身占用的资源不 会被释放。网络服务器程序要同时管理大量连接,所以很有必要保证无用连接完全断开,否则大量僵死的连接会浪费许多服务器资源。在众多TCP状态中,最值得 注意的状态有两个:CLOSE_WAIT和TIME_WAIT。  1、LISTENING状态...

2018-04-19 09:49:50 299

原创 HDFS 原理、架构与特性

1:当前HDFS架构详尽分析分享之前我还是要推荐下我自己创建的大数据学习资料分享群 232840209,这是全国最大的大数据学习交流的地方,2000人聚集,不管你是小白还是大牛,小编我都挺欢迎,今天的源码已经上传到群文件,不定期分享干货,包括我自己整理的一份最新的适合2017年学习的前端资料和零基础入门教程,欢迎初学和进阶中的小伙伴。HDFS架构•NameNode•Da

2017-11-19 15:00:23 305

转载 网络基本功(二):细说交换机

网络基本功(二):细说交换机 转载请在文首保留原文出处:EMC中文支持论坛https://community.emc.com/go/chinese   介绍 本节介绍交换机的帧转发技术,MAC地址表的维护方式,三种帧转发模式,以及冲突域和广播域。更多信息 帧转发: 网络及电信中的交换概念以太网上的帧包含源MAC地址与目

2017-10-15 22:34:12 397

转载 网络基本功(一):细说网络传输

网络基本功(一):细说网络传输 转载请在文首保留原文出处:EMC中文支持论坛https://community.emc.com/go/chinese  介绍 常言道:欲练神功,必先练好基本功。之前做了一个关于IP路由,默认网关和掩码的问答贴,做完这个帖子觉得如果对网络知识点做一个系统的阐述,应该会很有帮助。本系列文章着重于

2017-10-15 22:31:06 254

原创 spark 批量写入redis (pipeline + 分批提交)

spark 和redis交互的文章网上太多,涉及批量到写redis大都用pipline模式。总感觉美中不足,因为pipeline是将命令进行打包处理,大数据量下pipline()慢且导致内存不足。 花了一点时间实现了redis批量提交,做个笔记备忘。package com.hooray.spark.sass2.programimport java.util.concurrent.LinkedBlo

2017-09-28 01:45:03 7780 1

原创 HDFS文件读写过程

HDFS读文件过程:客户端通过调用FileSystem对象的open()来读取希望打开的文件。对于HDFS来说,这个对象是分布式文件系统的一个实例。DistributedFileSystem通过RPC来调用namenode,以确定文件的开头部分的块位置。对于每一块,namenode返回具有该块副本的datanode地址。此外,这些datanode根据他们与client的距离来排

2017-03-27 23:51:49 998

原创 java.lang.SecurityException: class "javax.servlet.FilterRegistration"'

Exception in thread "main" java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does not match signer information of other classes in the same package这是一个jar包冲突

2016-12-01 09:37:33 2805

原创 VMware克隆linux注意事项

VMware克隆linux基本上配置都不会有问题,唯一要改的就是网卡信息,防止和原网卡冲突。1、修改网卡的MAC,一般可以到/etc/sysconfig/network-scripts/里找到相应的网卡,进入编辑网卡的MAC,改成其他不冲突的MAC。2、修改MAC的同时,可以修改网卡的ip,掩码,dns等。3、修改完MAC地址之后,要到/etc/udev/rules.d/70-pers

2016-11-20 10:54:04 1839

转载 Namenode HA原理详解(脑裂)

Namenode HA原理详解社区hadoop2.2.0 release版本开始支持NameNode的HA,本文将详细描述NameNode HA内部的设计与实现。 为什么要Namenode HA?1. NameNode High Availability即高可用。2. NameNode 很重要,挂掉会导致存储停止服务,无法进行数据的读写,基于此NameNode的计算(MR,

2016-11-13 21:15:30 1389

转载 spark1.6.0分布式安装

1. 概述本文是对spark1.6.0分布式集群的安装的一个详细说明,旨在帮助相关人员按照本说明能够快速搭建并使用spark集群。 2. 安装环境本安装说明的示例环境部署如下:IP外网IPhostname备注10.47.110.38120.27.153.137iZ237654q6qZMast

2016-10-10 22:19:52 631

原创 linux下时间同步的两种方法分享

在需要集中记录服务器日志的环境中,时间同步那是相当的重要的。本文为大家介绍两种同步linux时间的方法,供大家参考方法1:与一个已知的时间服务器同步 ntpdate time.nist.gov其中 time.nist.gov 是一个时间服务器.删除本地时间并设置时区为上海rm -rf /etc/localtimeln -s /usr/share/zonein

2015-11-15 23:23:07 556

转载 常见hash算法的原理

散列表,它是基于快速存取的角度设计的,也是一种典型的“空间换时间”的做法。顾名思义,该数据结构可以理解为一个线性表,但是其中的元素不是紧密排列的,而是可能存在空隙。散列表(Hash table,也叫哈希表),是根据关键码值(Key value)而直接进行访问的数据结构。也就是说,它通过把关键码值映射到表中一个位置来访问记录,以加快查找的速度。这个映射函数叫做散列函数,存放记录的数组叫做散列表。

2015-10-30 00:04:53 5406

原创 Bloom Filter科普

Bloom Filter的中文翻译叫做布隆过滤器,是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的误识别率和删除困难。如文章标题所述,本文只是做简单介绍,属于科普文章。

2015-10-29 23:54:10 559

转载 MapReduce架构设计

MapReduce也是采用Master/Slave的架构,其架构图如下:它主要有以下4个部分组成:1)Client2)JobTrackerJobTracke负责资源监控和作业调度。JobTracker 监控所有TaskTracker 与job的健康状况,一旦发现失败,就将相应的任务转移到其他节点;同时,JobTracker 会跟踪任务的执行进度、资源使用量等信息,并

2015-10-15 17:14:17 428

转载 MapReduce:详解Shuffle过程

Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapReduce的运行机制,这才对Shuffle探了个究竟。考虑到之前我在看相关资料而看不懂时很恼火,所以在这里

2015-10-15 16:00:46 354

转载 DNS: ping unknown host解决方法

[root@localhost ~]# ping www.baidu.com提示 ping: unknown host这是因为DNS服务器没有配置好,如果网络没有问题,可以按下面的步骤进行检查:1) vi /etc/resolv.conf添加nameserver 192.168.59.2       本机的网关地址(路由器的地址)search loc

2015-10-12 15:22:44 956

原创 Thread之Exchanger

在多线程并发时设置等待,等待另一线程运行到指定位置,并且交换数据。 使用构造函数Exchanger()创建对象。 在线程开始之后可以使用exchange(Object)方法控制当前线程等待,直到有另一个线程也调用该方法时交换数据,并继续执行。(此方法只支持两个线程之间的数据交换) 类似于买卖双方约定交易地点,其中一方先到之后等待另外一方,双方到齐之后一手交钱一手交货。package com.m

2015-08-26 09:30:25 488

原创 Project facet Java version 1.7 is not supported

在移植eclipse项目时,如果遇到 “Project facet Java version 1.7 is not supported.” 项目中的jdk1.7不支持。说明项目是其他版本jdk编译的,在eclipse里运行时会报版本不支持。 解决办法: 法1,选中项目 Properties , 选择 Project Facets,右击选择 Java , Change Version …

2015-08-26 08:48:23 543

转载 ping 出现destination host unreachable的问题

转载原文 http://blog.sina.com.cn/s/blog_77ed43e301018axz.html一、问题一:虚拟机和主机互ping不通安装了虚拟机,以太网选的是默认的桥接,可安装完后,不能和主机ping通,也不能ping通网关192.168.1.1,显示"destination host unreachable"在VMware Workstation中,单

2015-08-25 15:09:33 11187

原创 CentOs6 配置网易源

Linux 中安装软件方式有多种,比如rpm,安装卸载软件很方便,但有个小缺点,安装软件时可能会有依赖.参考了网上部分资料,选择yum方式管理软件。闲话少说,以下为具体过程1、下载repo文件cd /etc/yum.repos.d/ wgethttp://mirrors.163.com/.help/CentOS6-Base-163.repo 2、备份并替换系统的repo...

2015-03-14 14:34:03 570

Hive编程指南[书签版].pdf

hive编程指南[书签版],这本书挺不错的,高清扫描带书签,喜欢的收藏吧! 找这么一本带书签的真不容易

2017-06-07

阿里巴巴Java开发手册(正式版)

阿里巴巴Java开发手册,首次公开阿里官方Java代码规范标准。这套Java统一规范标准将有助于提高行业编码规范化水平,帮助行业人员提高开发质量和效率、大大降低代码维护成本。 相比C++代码规范业界已经达成共识,Java代码规范业界比较混乱,我们期待这次发布的Java代码规范能够给业界带来一个标准,促使整体行业代码规范水平得到提高,最终能够帮助企业和开发者提升代码质量和降低代码故障率。 此次首度公开的Java开发手册正是出自这样的团队,近万名阿里Java技术精英的经验总结,并经历了多次大规模一线实战检验及完善,铸就了这本高含金量的阿里Java开发手册。该手册以Java开发者为中心视角,划分为编程规约、异常日志规约、MYSQL规约、工程规约、安全规约五大块,再根据内容特征,细分成若干二级子目录。根据约束力强弱和故障敏感性,规约依次分为强制、推荐、参考三大类。此套规范不仅能让代码一目了然, 更有助于加强团队分工与合作、真正提升效率。

2017-05-24

深入理解Java虚拟机:JVM高级特性与最佳实践(第2版)

深入理解Java虚拟机:JVM高级特性与最佳实践(第2版),配合教程效果更佳

2017-04-17

spark graphx实战

2017-04-17

Head First 设计模式 源码

Head First 设计模式》附书源码(Java版).只为有需要的

2016-06-22

kibana4权威指南中文版

kibana4权威指南中文版,只为有需要的人。

2016-04-01

storm 分布式实时计算模式

Storm分布式实时计算模式_电子书+源码,一次打包,挺不容易找到的

2016-03-09

SQL Prompt6 通用破解

压缩包包含文件版本5.3和6.1 注册机文件 SQLPrompt Keygen 5.3.x.exe 破解步骤参考 readme.txt 亲试可用,测试环境:win2008r2 + sql2008r2

2014-04-03

Dom4j-1.6.1 api

解析xml常用文档。 一:要操作的xml文件 xml.xml 二:要写进xml.xml文件的节点类映射 --MyInfo.java-- class MyInfo { public String name; public String telephone; public String address; public MyInfo(){} } 三:追加节点 www.yunlin.cn --AppendNode.java-- import java.io.*; import org.dom4j.*; import org.dom4j.io.*; class AppendNode { private String fileName; public AppendNode(String fileName) { this.fileName=fileName; } public void initFile() { try { org.dom4j.Element info=DocumentHelper.createElement("Info"); org.dom4j.Document root=DocumentHelper.createDocument(info); org.dom4j.io.XMLWriter xmlWriter=new XMLWriter(new java.io.FileOutputStream(this.fileName)); xmlWriter.write(root); }catch(java.io.FileNotFoundException e1){} catch(java.io.UnsupportedEncodingException e2){} catch(java.io.IOException e3){} } public void appendNode(MyInfo mi) { try { org.dom4j.Element myinfo=DocumentHelper.createElement("myinfo"); org.dom4j.Element name =DocumentHelper.createElement("name"); org.dom4j.Element telephone=DocumentHelper.createElement("telephone"); org.dom4j.Element address =DocumentHelper.createElement("address"); name.setText(mi.name); telephone.setText(mi.telephone); address.setText(mi.address); myinfo.add(name); myinfo.add(telephone); myinfo.add(address); org.dom4j.io.SAXReader reader=new SAXReader(); org.dom4j.Document root=reader.read(new java.io.FileInputStream(this.fileName)); org.dom4j.Element info=root.getRootElement(); info.add(myinfo); org.dom4j.io.XMLResult result=new XMLResult(new java.io.FileOutputStream(this.fileName)); org.dom4j.io.XMLWriter writer=result.getXMLWriter(); writer.write(root); }catch(java.io.FileNotFoundException e4){} catch(org.dom4j.DocumentException e5){} catch(java.io.UnsupportedEncodingException e6){} catch(java.io.IOException e7){} } } 四:主执行类 --XmlExec.java-- public class XmlExec { private AppendNode appendnode; private String filename; public XmlExec() { filename="xml.xml"; appendnode=new AppendNode(filename); appendnode.initFile(); -------------------------------------------------<1>------------- } public void xmlAppend() { MyInfo myinfo1=new MyInfo(); MyInfo myinfo2=new MyInfo(); myinfo1.name="wangkangfan"; myinfo1.telephone="123456789"; myinfo1.address="xiangjiang_xizihu"; myinfo2.name="shenmuzi"; myinfo2.telephone="987654321"; myinfo2.address="diao_yu_dao"; appendnode.appendNode(myinfo1); appendnode.appendNode(myinfo2); } public static void main(String args[]) { XmlExec xml=new XmlExec(); xml.xmlAppend(); --------------------------------------------<2>--------------- } } 五:Result view

2014-01-07

effective中文pdf

本书介绍了在Java编程中57条极具实用价值的经验规则,这些经验规则涵盖了大多数开发人员每天所面临的问题的解决方案。通过对Java平台设计专家所使用的技术的全面描述,揭示了应该做什么,不应该做什么才能产生清晰、健壮的高效的代码。 本书中的每条规则都以简短、独立的小文章形式出现,这些小文章包含了详细而精确的建议,以及对语言中许多细微之处的深入分析,并通过例子代码加以进一步说明。贯穿全书的是通用的语言用法的设计模式,以及一些具有启发意义的技巧的技术。

2013-12-24

effective.chm

本书介绍了在Java编程中57条极具实用价值的经验规则,这些经验规则涵盖了大多数开发人员每天所面临的问题的解决方案。通过对Java平台设计专家所使用的技术的全面描述,揭示了应该做什么,不应该做什么才能产生清晰、健壮的高效的代码。 本书中的每条规则都以简短、独立的小文章形式出现,这些小文章包含了详细而精确的建议,以及对语言中许多细微之处的深入分析,并通过例子代码加以进一步说明。贯穿全书的是通用的语言用法的设计模式,以及一些具有启发意义的技巧的技术。

2013-12-24

myEclipse破解文件

还为你的MyEclipse过期的问题而烦恼吗?!……亲,有了这个工具,让免费变成永恒…… 10.6以下的版本亲测有效,myEclipse2013没有测试

2013-07-16

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除