云计算/大数据
qq_37334135

Mapreduce之自定义InputFormat-小文件合并

需求:无论hdfs还是mapreduce,对于小文件都有损效率,实践中,又难免面临处理大量小文件的场景,此时,就需要有相应解决方案。
1
wohaqiyi

搜索引擎solr系列---日志打印位置

solr的日志打印位置,要看你配置的log4j.properties文件放在什么位置了,里边肯定也可以配置文件打印位置1、如果你将log4j.properties文件放在了solr的tomcat下we...
1
shurenyun

打走企业级落地微服务的拦路虎:数据

▲扫码报名活动 数人云11月Meetup报名开启, 看中西方大神如何论道云原生与微服务!数人云上几天给大家分享了:《踢开绊脚石:微服务难点之服务调用的解决方案》剖析了微服务的难点之一:服务调用的解...
0
shurenyun

Qcon2017实录|Service Mesh:下一代微服务

▲扫码报名活动数人云11月Meetup报名开启,看中西方大神如何论道云原生与微服务!本文作者敖小剑老师将在本次Meetup上继续分享Service Mesh相关内容,欢迎报名~数人云之前给大家分享过敖...
0
ping550

hive学习笔记第一篇

Hive学习篇 安装 安装hadoo,本实例中hadoop在/usr/local/hadoop下 Hive安装在/home/Hadoop/app/hive下 参考文档:http://blog....
0
chengyunyi123

Spark 2.0核心技术图解

导语 spark2.0于2016-07-27正式发布,伴随着更简单、更快速、更智慧的新特性,spark 已经逐步替代 hadoop 在大数据中的地位,成为大数据处理的主流标准。本文主要以代码和绘图的方...
1
ex_soso

冒泡排序

冒泡排序的优点:每进行一趟排序,就会少比较一次,因为每进行一趟排序都会找出一个较大值。如上例:第一趟比较之后,排在最后的一个数一定是最大的一个数,第二趟排序的时候,只需要比较除了最后一个数以外的其他的...
1
huodongjia2016

2017中国开源年会 COSCon'17早鸟票

本次开源年会将于2017年11月18日至19日在上海举办,2017中国开源年会 COSCon'17报名平台活动家。 继成功举办了2015年中国开源年会暨阿帕奇中国路演,及2016...
0
mark_1994

python3中的错误和异常种类

python3中的异常包括错误和异常: 1、错误 在代码运行前的语法或逻辑错误 SystaxError(语法错误) ValueError(逻辑错误) 2.异常 常见...
0
wohaqiyi

搜索引擎solr系列---自定义扩展词库的配置

如果配置好分词,它会智能分词,对于一些特殊的词句,可能不会分成你想要的词  比如这么一句话,“清池街办新庄村”,配置好分词后,会有如下的结果:  分词后的结果,并没有你想要的“清池街办新庄村”的这个词...
1
github_38358734

基于YARN集群构建运行PySpark Application

文章转载:https://www.tuicool.com/articles/eaYVN3vSpark Application可以直接运行在YARN集群上,这种运行模式,会将资源的管理与协调统一交给YA...
0
github_38358734

文章标题

通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整,本文主要分享的也是这两方面内容。一、性能监控工具 【Spark监控工具】   Spark提供了一些基本的Web监控页面,对于日常...
2
hezheqiang

ElasticSearch 的 聚合(Aggregations)

Elasticsearch有一个功能叫做 聚合(aggregations) ,它允许你在数据上生成复杂的分析统计。它很像SQL中的 GROUP BY 但是功能更强大。 Aggregations种...
1
github_38358734

Hadoop Balancer运行速度优化

1.修改dfs.datanode.max.transfer.threads = 4096 (如果运行hbase的话建议为16384),指定用于在DataNode间传输block数据的最大线程数,老版本...
2
James_JR10

HBase 计数器

计数器使用计数器可以很好的应用于点击,造成的访问次数的改变。 命令行 进入到shell,执行incr ‘表名 ’rowKey’’计数器名称’ 数字。 默认的数字位置是1,即执行一次加1,可根据实际需求...
2
qq1137623160

ElasticSearch 5.0.0 安装部署常见错误或问题

ElasticSearch 5.0.0 安装部署常见错误或问题问题一:[2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to ins...
1
xumajie88

spark-sql 关联问题

spark scala 大数据
4
mark_1994

python os.path模块常用方法详解

http://www.cnblogs.com/wuxie1989/p/5623435.html
0
qq_27926875

Linux基础命令学习二

shell壳 1、shell充当人与内核的翻译官,许多linux系统主流默认字符shell是Bash 一个命令行可以输入多个命令  bash中常用的通配符 ...
5
qq_27926875

linux基础命令的学习一

基础知识 linux初始化init系统  内核初始化的最后一步 sysvinit  用runlevel定...
5
zangdalei

Java 如何启用 ARM 虚拟机诊断

如何通过 Java 语言实现在创建 ARM 虚拟机时开启诊断,并配置相关指标。
0
zangdalei

Azure 虚拟机诊断设置问题排查

Azure 为用户提供了可以自己配置的性能监控功能:Azure 诊断扩展。但是在具体配置中,经常会遇到各种各样的问题。不了解监控的工作机制常常给排查带来一定难度。这里我们整理了关于 Azure 虚拟机...
0
zangdalei

虚拟机压力测试延迟高的可能原因及 ILPIP 配置 / 查询脚本

用户使用 Azure 虚拟机访问其他资源,做压力 / 负载测试(并发数非常高)时,可能会出现以下情况 : 测试初期 Client VM 的延迟结果正常; 测试后期 Client VM 的延迟偶尔突增/...
0
qq_27926875

Apache与Tomcat以及jdk

安装Apache第一种:参考 http://blog.csdn.net/lyp256/article/details/55090282 http://blog.csdn.net/wplblog/a...
5
zangdalei

理解 Azure 平台中虚拟机的计算能力

虚拟化平台至今已经发展了十多年的时间。其中 Hyper-V 技术现在也已经是第三代版本。用户对于虚拟化计算也越来越接受,这也有了公有云发展的基础。然而在很多时候,用户在使用基于 Hyper-V 的 A...
0
zangdalei

如何复制或导出托管磁盘

托管磁盘为用户在后台处理存储帐户的创建/管理,确保用户不需担心存储帐户的可伸缩性限制。 用户只需指定磁盘大小和性能层(标准/高级),然后 Azure 就会为用户创建和管理磁盘。 即使在添加磁盘或者对 ...
0
zangdalei

理解托管磁盘的原理与优势

Azure 托管磁盘,是指将虚拟机使用的虚拟磁盘文件(VHD)和存储账号交由 Azure 来规划和控制的服务。
0
u012164361

shell 脚本中中-f -e -eq等等的意义

文件比较运算符 -e filename 如果 filename存在,则为真 [ -e /var/log/syslog ] -d filename 如果 filename为目录,则为真 [ ...
1
zangdalei

Azure 托管镜像和非托管镜像对比

目前中国区 Azure 也已经可以使用命令制作托管镜像了。但对于托管镜像和非托管镜像,就像托管磁盘和非托管磁盘一样,很多人可能一开始无法理解。
0
zangdalei

如何将同一云服务下的虚拟机从经典部署模型迁移到 Azure Resource Manager

用户希望将特定云服务下的所有虚拟机从经典部署模型(以下简称:ASM)迁移到 Azure Resource Manager(以下简称:ARM)。
0

预告
img Python最佳学习路线!
讲师:提升你的Python实力!

专家申请

img
吴成兵

华东师范大学 计算机科学与软件工程学院 17 非全日制 软件工程 硕士 研究生

img
舒姝

iOS & MacOS 开发者,热衷探索应用开发技术

img
刘盼盼

贡献过kernel开源,活跃于各大创客社区,精通linux+android的嵌入式开发。智...

更多

官方博客

img博客搬家
img撰写博客
img发布 Chat
img专家申请
img意见反馈
img返回顶部