自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

狂奔的乌牛的博客

不多不少,刚刚好!

  • 博客(36)
  • 资源 (3)
  • 问答 (1)
  • 收藏
  • 关注

原创 redis 缓存最佳实践

Redis 是目前最火爆的内存数据库之一,通过在内存中读写数据,大大提高了读写速度,可以说 Redis 是实现网站高并发不可或缺的一部分。

2020-07-07 16:35:59 1447 2

原创 Linux进程内存和CPU使用量监控

【代码】Linux进程内存和CPU使用量监控。

2022-11-07 10:32:08 399 1

原创 docker镜像批量打包

docker镜像批量打包

2022-03-16 17:04:54 2191

原创 Hadoop学习之路(五)Hadoop集群搭建模式和各模式问题

Hadoop组件安装可参考官方网站手册,分为单节点和集群安装两种。单节点安装:https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/SingleCluster.html集群安装:https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-common/ClusterSetup.html一、分布式集群的通用问题当前的HDFS和YARN都

2021-03-10 14:13:21 232 1

原创 Hadoop学习之路(四)Hadoop集群搭建和简单应用

一、概念了解主从结构:在一个集群中,会有部分节点充当主服务器的角色,其他服务器都是从服务器的角色,当前这种架构模式叫做主从结构。主从结构分类:1、一主多从2、多主多从Hadoop中的HDFS和YARN都是主从结构,主从结构中的主节点和从节点有多重概念方式:1、主节点  从节点2、master  slave3、管理者  工作者4、leader  followerHadoop集群中各个角色的名称:服务主节点从节点HDFSNameNodeDataNodeYAR

2021-03-10 13:47:36 360

原创 Hadoop学习之路(三)Hadoop-3.1.1在CentOS-7.6上的编译

一、配置编译环境1、安装基础库配置yum源,通过yum安装如下基础库和依赖,yum源配置可查看CentOS7 yum源配置(1)安装GCCyum -y install gcc.aarch64 gcc-c++.aarch64 gcc-gfortran.aarch64 libgcc.aarch64(2)安装依赖yum install -y wget openssl-devel zlib-devel automake libtool make libstdc++-static glibc-stat

2021-03-09 17:33:10 325

原创 Maven3.5.4 安装

安装Maven前,先安装OpenJDK1、下载并安装到指定目录(此处以指定“/opt/tools/installed/”目录为例)wget https://archive.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gztar -zxf apache-maven-3.5.4-bin.tar.gzmv apache-maven-3.5.4 /opt/tools/installed/2、修改Maven

2021-03-09 15:53:56 345

原创 安装OpenJDK

一、压缩包安装1、下载并解压安装到指定目录(此处以指定“/opt/tools/installed/”目录为例)。wget https://github.com/AdoptOpenJDK/openjdk8-binaries/releases/download/jdk8u252-b09/OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gztar -zxf OpenJDK8U-jdk_aarch64_linux_hotspot_8u252b09.tar.gz

2021-03-09 15:39:25 2402

原创 CentOS7 yum源配置

rmp 配置和下载 :http://mirror.centos.org/altarch/CentOS-Base.repo在/etc/yum.repos.d目录下创建CentOS-Base.repo文件,内容如下# CentOS-Base.repo## The mirror system uses the connecting IP address of the client and the# update status of each mirror to pick mirrors that ar

2021-03-09 14:45:15 462

原创 Hadoop学习之路(二)Hadoop发展背景

Hadoop产生的背景1、 HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。2、 2003年开始谷歌陆续发表的三篇论文为该问题提供了可行的解决方案。——分布式文件系统(GFS),可用于处理海量网页的存储 ——分布式计算框架MAPREDUCE,可用于处理海量网页的索引计算问题。 ——BigTable 数据库:OLTP 联机事务

2021-03-09 11:26:20 1503

原创 Hadoop学习之路(一)数据处理理论基础和逻辑思维

一、统计出现最多的IP次数描述统计出当前这个一行一个IP的文件中,到底哪个IP出现的次数最多解决思路//必须要能读取这个内容 BufferedReader br = new BuffedReader(new FileInputStream(new File("c:/big.txt"))); // 每次读取一行 String line = null; while( (line=br.readLine()) != null){

2021-03-09 11:03:54 282

原创 IDEA 创建 spring boot + mybatis + postgresql+redis cluster 项目

<mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.aliyun.com/nexus/content/groups/public/</url> <mirrorOf>central</mirrorOf> </mirror>

2021-03-09 10:35:41 188

原创 Maven命令安装本地jar包到本地仓库

原则上Maven工程pom.xml中依赖的jar包会自动实现从中央仓库下载到本地仓库。但是碰上第三方开发的中央仓库没有的jar包,我们需要手动安装到本地maven仓库,命令如下mvn install:install-file -Dfile=jar包的位置 -DgroupId=包的groupId -DartifactId=包的artifactId -Dversion=包的version -Dpackaging=jar例如,导入一个本地fastjson.jar包 <dependency&gt

2021-02-04 11:09:29 244

原创 Linux 网络操作

1 设置整个linux系统所有接口包括回环接口禁用IPv6 :$ sudo sh -c ‘echo 1 > /proc/sys/net/ipv6/conf/all/disable_ipv6’2特定的网络接口临时禁用IPv6,使用以下命令:1$ sudo sh -c ‘echo 1 > /proc/sys/net/ipv6/conf//disable_ipv6’例如将eth0接口临时禁用IPv6:1$ sudo sh -c ‘echo 1 > /proc/sys/net/ipv

2021-02-04 11:08:29 248

原创 Linux 禁用 ipv6

1 设置整个linux系统所有接口包括回环接口禁用IPv6 : $ sudo sh -c 'echo 1 > /proc/sys/net/ipv6/conf/all/disable_ipv6' 2特定的网络接口临时禁用IPv6,使用以下命令: 1 $ sudo sh -c 'echo 1 > /proc/sys/net/ipv6/conf/<interface-name>/disable_ipv6' 例如将e...

2020-11-12 17:51:26 751

原创 Hive 计算引擎性能测试

1、运行模式(本地模式/集群模式)1.job的输入数据大小必须小于参数:hive.exec.mode.local.auto.inputbytes.max(默认128MB)2.job的map数必须小于参数:hive.exec.mode.local.auto.tasks.max(默认4)。而Map task个数是有default_num = total_size / block_size计算得出;3.job的reduce数必须为0或者1可用参数hive.mapred.local.mem(默认

2020-11-12 17:05:31 2110

原创 Hive Metastore服务

1、Hive 元数据存储将元数据存储在关系数据库中(MySql、Derby),元数据包括表的属性、表的名称、表的列、分区及其属性以及表数据所在的目录等。2、Metastore服务作用客户端连接metastore服务,metastore再去连接MySQL数据库来存取元数据。有了metastore服务,就可以有多个客户端同时连接,而且这些客户端不需要知道MySQL数据库的用户名和密码,只需要连接metastore 服务即可。3、Metastore启动方式下列的本地模式是指Metastore启

2020-11-12 16:55:14 3947

原创 Hive 高可用HA搭建

1、使用HiveServer2提供HA的好处1. 在应用端不用部署Hadoop和Hive客户端; 2. 相比hive-cli方式,HiveServer2不用直接将HDFS和Metastore暴漏给用户; 3. 有安全认证机制,并且支持自定义权限校验; 4. 有HA机制,解决应用端的并发和负载均衡问题; 5. JDBC方式,可以使用任何语言,方便与应用进行数据交互; 6. 从2.0开始,HiveServer2提供了WEB UI。Hive从0.14开始,使用Zookeeper实现了Hive.

2020-11-12 16:26:53 2573

原创 Hive 功能特性和组件原理

1、什么是HiveHive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。Hive不是:关系数据库 OnLine事务处理(OLTP)的设计 用于实时查询和行级更新的语言Hive的特点:为OLAP设计的。 提供用于查询的SQL类型

2020-11-12 16:23:00 846

原创 Hive 编译打包安装

目录一、配置编译环境1、安装基础库2、安装OpenJDK3、安装Maven4、安装Protoc二、编译移植分析和依赖打包1、移植分析2、编译打包三、Hive rpm包1、安装打包工具2、在root目录下生成rpm打包目录rpmbuild3、添加二进制文件4、编写hive.spec5、执行构建四、安装配置1、rpm包本地安装2、添加Hive到环境变量3、修改Hive配置文件4、安装数据库5、配置数据库驱动6、创建...

2020-11-12 16:14:54 1536

原创 virsh kvm虚拟机管理工具常用命令

1、查看在运行的虚拟机virsh list2、查看创建的所有虚拟机virsh list --all3、启动虚拟机virsh start win10win10是虚拟机的domain名称,下同。4、挂起虚拟机virsh suspend win105、恢复被挂起的虚拟机virsh resume win106、开机启动虚拟机,即在虚拟机服务(libvirt)启动的时候,就启动虚拟机。virsh autostart win107、关闭开机启动虚拟机virsh auto start --di

2020-06-19 17:00:46 218

原创 Hue中通过Oozie调度sqoop1,导入数据到Hive问题

环境:软件版本配置HDP2.6.31 master ,2 coreHue4.4.0Hue server(master)Sqoop1.4.6client(master and 2 core)Hive1.2.1000Hive Metastore 、HiveServer2、WebHCat Server (master) , client(mast...

2019-09-27 14:52:08 963

原创 Redis:数据结构与对象 (链表)

链表,作为一种常用的数据结构,内置在很多的高级的编程语言里面,提供了高效的节点重排能力,以及顺序性的节点访问方式,并且可以通过增删节点来灵活的调整链表的长度。Redis使用的C语言没有内置这种数据结构,所以Redis构建了自己的链表实现。链表在Redis中的使用非常广泛,比如列表建的底层实现之一就是链表。当一个列表建包含了数量比较多的元素,又或者列表中包含的元素都是比较长的字符串时,Redis就...

2019-09-25 17:06:21 153

原创 Hive 问题合集

HDP kerberos 关闭后出现,hiveServer2 不断的启动和关闭2019-09-20 14:16:12,751 FATAL [main]: server.HiveServer2 (HiveServer2.java:addServerInstanceToZooKeeper(258)) - Unable to create a znode for this server insta...

2019-09-20 14:59:21 1088 2

原创 Redis:数据结构与对象 (简单对象字符串SDS)

Redis 数据库里面的么个键值对(key-value pair) 都是由对象(object)组成,其中数据库键总是一个字符串对象(string object);数据库值则可以是字符串对象(string object)、列表对象(list object) 、哈希对象(hash object)、集合对象(set object)、有序集合对象(sorted set object) 这五种对象中的...

2019-09-18 16:55:40 99

原创 Android TV中选中放大,添加发光状态的解决方案

在Android tv应用中,不像手机可以通过触摸自由的滑动屏幕,TV应用需要通过焦点的触发,并且在屏蔽中选中的View需要在屏幕中凸显出来,那么一般的处理效果就是,放大View,添加选中发光圈效果,这边提供两个方案在选中的View上面重新绘制一层,原本的view设置成透明这种方案有一个很大的弊端是要计算View的位置,在屏幕复杂度高,卡顿的情况下容易出现位置计算错误,导致重新绘制的Vie...

2018-02-08 10:29:41 4582

原创 RecyclerView在TV使用中碰到的问题和解决方案

RecyclerView 在TV中应用碰到的问题和处理方式

2016-12-15 18:37:15 3347

原创 Android开发资源整理

Android开发资源整理

2016-06-27 11:53:10 289

原创 Android Studio --自动删除没有用的资源,给APK减减肥和GSON、RX、EventBus混淆注意

Android Studio --自动删除没有用的资源,给APK减减肥和GSON、RX、EventBus混淆注意

2016-06-03 18:42:00 3214

原创 实用代码段(二)

笔记

2016-06-03 15:21:27 296

原创 实用代码段( 一 )

笔记

2016-06-03 15:03:14 238

原创 获取mac地址

获取mac地址

2016-06-02 11:13:17 553

原创 Fresco的初步使用

Fresco的初步使用

2016-06-02 11:07:06 471

原创 android高斯模糊

高斯模糊算法介绍

2016-06-02 11:05:01 527

转载 四种生成和解析XML文档的方法详解(介绍+优缺点比较+示例)

众所周知,现在解析XML的方法越来越多,但主流的方法也就四种,即:DOM、SAX、JDOM和DOM4J下面首先给出这四种方法的jar包下载地址DOM:在现在的Java JDK里都自带了,在xml-apis.jar包里SAX:http://sourceforge.net/projects/sax/JDOM:http://jdom.org/downloads/index

2015-05-19 21:08:12 341

转载 Android 基站定位

一、通过手机信号获取基站信息通过TelephonyManager 获取lac:mcc:mnc:cell-id(基站信息)的解释:MCC,Mobile Country Code,移动国家代码(中国的为460);MNC,Mobile Network Code,移动网络号码(中国移动为0,中国联通为1,中国电信为2);LAC,Location Area Code,位置区域

2015-05-19 20:59:23 714

rpmrebuild-2.15.tar.gz

rpm 包重制作工具,方便查看rpm内容和学习rpm的spec的

2020-06-19

ziperello_35981.zip

Ziperello中文版是一款用于恢复zip压缩文件密码的工具。拥有强大的Zip密码破解功能,无论是winZip、PKZip,甚至是winrar,ZIP 压缩包密码破解工具都能解密。支持标准的 ZIP2.0 加密以及128位的 AES 加密算法。

2020-04-23

九宫格解锁

手机九宫格解锁,相关的代码,了XML,整个项目都在这。可以好报学习

2014-07-30

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除