2017年03月_javastart

转载用正确的姿势查看主机系统的CPU信息

用正确的姿势查看主机系统的CPU信息2017-03-29 Java后端架构一、关于CPU的几个概念CPU的作用计算机中的中央处理单元（CPU）执行基本的计算工作 -- 运行程序。但是，一个单核的CPU同一时间只能一次执行一个任务，为了提高计算机的处理能力，也就出现了多CPU，超线程（HT）和多核CPU的技术。大多数计算机只有一个物理CPU。单个CPU

2017-03-29 09:02:04 783

转载 Kafka Eagle这款监控工具

问题导读：1.Kafka Eagle实现kafka消息监控的代码细节是什么?2.Kafka owner的组成规则是什么？3.怎样使用SQL进行kafka数据预览？4.Kafka Eagle是否支持多集群监控？1.概述在《Kafka 消息监控 - Kafka Eagle》一文中，简单的介绍了 Kafka Eagle这款监控工具的作用，截图预览，

2017-03-29 08:59:10 8946

转载 Hive SQL 监控系统 - Hive Falcon

本帖最后由 levycui 于 2017-3-28 16:08 编辑问题导读：1、Hive Falcon是什么？2、Hive Falcon有什么用途？3、Hive Falcon包含哪些组件？4、如何使用Hive Falcon？Hive SQL 监控系统 - Hive Falcon介绍1.概述在开发工作当中，提交 Hadoop 任务，任务的运行详情，这

2017-03-29 08:40:25 3335

转载大数据|Spark技术在京东智能供应链预测的应用案例深度剖析（一）

大数据|Spark技术在京东智能供应链预测的应用案例深度剖析（一） 2017-03-27 11:58 浏览次数：148　1. 背景前段时间京东公开了面向第二个十二年的战略规划，表示京东将全面走向技术化，大力发展人工智能和机器人自动化技术，将过去传统方式构筑的优势全面升级。京东Y事业部顺势成立，该事业部将以服务泛零售为核心，着重智能供应能力的打造，核心使命是利用人

2017-03-28 19:58:48 6175

转载旅游推荐系统的演进

旅游推荐系统的演进郑刚 ·2017-03-24 18:04背景度假业务在整个在线旅游市场中占据着非常重要的位置，如何做好做大这块蛋糕是行业内的焦点。与美食或酒店的用户兴趣点明确（比如找某个确定的餐厅或者找某个目的地附近的酒店）不同，旅游场景中的用户兴趣点（比如周末去哪儿好玩）很难确定，而且会随着季节、天气、用户属性等变化而变化。这些特点导致传统的信息检索并不能很好的满足

2017-03-28 19:56:50 4935 2

转载 HDFS NameNode重启优化

HDFS NameNode重启优化小桥 ·2017-03-17 17:24本文已发表于InfoQ，下面的版本又经过少量修订。一、背景在Hadoop集群整个生命周期里，由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启，不论采用何种架构，重启期间集群整体存在可用性和可靠性的风险，所以优化NameNode重启非常关键。本文基于Hadoo

2017-03-21 19:47:11 1690

转载 hadoop面试100道收集（带答案）

hadoop面试100道收集（带答案）标签： hadoop面试2016-04-27 00:28 11443人阅读评论(0) 收藏举报目录(?)[+]1.列出安装Hadoop流程步骤a) 创建hadoop账号b) 更改ipc) 安装Java 更改/etc/profile 配置环境变量d) 修改host

2017-03-11 09:38:28 1408

转载 Spark技术在京东智能供应链预测的应用

Spark技术在京东智能供应链预测的应用原创 2017-03-06 杨冬越郭景瞻大数据杂谈大家晚上好，做一个简单的介绍：我叫郭景瞻，来自京东，著有《图解Spark：核心技术与案例实战》一书，还有我的同事杨冬越，他在京东Y事业部，主要从事供应链销量预测、单量预测等系统的设计与实现工作。注意啦，读完到文尾，有送书活动哦~~今天非常感谢InfoQ提供这样的

2017-03-10 19:05:28 1604

转载 hive中alter table的用法详解

ALTER TABLE 语句2011-07-22 11:02ALTER TABLE 语句用于在已有的表中添加、修改或删除列。1 . ALTER TABLE table_name ADD column_name datatype2. ALTER TABLE table_name DROP COLUMN column_name3.

2017-03-10 16:43:32 21693

转载 Hadoop2.2.0已经遗弃的属性名称和 hadoop1.*配置属性比较

Hadoop2.2.0已经遗弃的属性名称和 hadoop1.*配置属性比较手机版| 2015-03-02 11:02:29 来源：评论：0 点击：152 Hadoop2.2.0已经遗弃的属性名称和 hadoop1.*配置属性比较Hadoop自升级到2.x版本之后，有很多属性的名称已经被遗弃了，虽然这些被遗弃的属性名称目前还可以用，但是这里还是建议用新的属性

2017-03-08 17:53:24 351

转载 MapReduce源码分析之JobSubmitter（一）

MapReduce源码分析之JobSubmitter（一）时间：2016-04-23 01:45:46 阅读：99 评论：0 收藏：0 [点我收藏+]标签： JobSubmitter，顾名思义，它是MapReduce中作业提交者，而实际上JobSubmitter除了构造方法外，对外提供的唯一一个非private成员变

2017-03-08 14:07:47 407

转载业务赋能利器之外卖特征档案

业务赋能利器之外卖特征档案马骧 ·2017-03-02 18:26应用背景及现状美团外卖业务自2013年9月启动至今已运营三年时间。截至2016年12月，美团点评整个外卖平台的日订单超过900万。从发展速度和体量上看，外卖业务仍处在迅猛发展的上升期。与早期飞速增长的状态相比，随着规模的不断扩大，业务的发展需要更健康、高效，这就对业务对象、业务环节的整体业务运营管理提出更

2017-03-07 19:20:33 533

转载 Spark性能优化之道——解决Spark数据倾斜（Data Skew）的N种姿势

Spark性能优化之道——解决Spark数据倾斜（Data Skew）的N种姿势小数点 2017-03-06 18:28:43 大数据技术评论(0)摘要本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map侧Join代替Reduce侧Join，给倾斜Key加上随机前缀等。

2017-03-07 18:41:02 540

转载滴滴算法大赛算法解决过程 - 拟合算法

滴滴算法大赛算法解决过程 - 拟合算法拟合概论Gap的预测，是建立在一个拟合函数上的。也有一些机器学习的味道。总的Gap函数 = 函数(时间,地区)TimeID ：时间片编号DistricID：地区编号Traffic：交通流量Weather：天气POI：设施数百度地图POI说明注意：每家公司的POI分类都是不同的，这里只是将百度

2017-03-06 20:29:23 2381

转载天池大赛道路匹配试题

文件名称 (报名后可下载)文件格式dataSets.zip.zip (8MB) scripts.zip.zip (4KB) dataSets.zip (mirror link)download KDD CUP 2017Highway Tollgates Traffic Flow Predicti

2017-03-06 20:09:19 1243

转载使用Spark Streaming + Elasticsearch搭建高可用、可扩展的App异常监控平台

问题导读：1.怎样对iOS的Crash Log进行符号化处理?2.怎样解决ES的写入瓶颈问题？3.怎样做到高性能和可扩展？如果在使用App时遇到闪退，你可能会选择卸载App、到应用商店怒斥开发者等方式来表达不满。但开发者也同样感到头疼，因为崩溃可能意味着用户流失、营收下滑。为了降低崩溃率，进而提升App质量，App开发团队需要实时

2017-03-05 20:15:24 2107

张伟的专栏