大数据
文章平均质量分 85
小陌sdauzyh
come on
展开
-
hive UDF 分享 通过IP地址获取IDC//省份/城市的信息http://my.oschina.net/wangjiankui/blog/263994
简述: 简单的2分查找算法,根据IP地址定位IP所属的IP段,然后获取IP段的IDC/省份/城市的信息。输入:IP地理信息文件,一般地址库拿到后需要格式化一下,参考: 1. 如果省份是null 或者 '' ,city是null或者'' =》 省份=其他 and 城市=其他 2. 省份非空且为直辖市,但是城市非直辖市 = 》 城市=直辖市 3. 省份非空转载 2015-07-23 09:16:59 · 2813 阅读 · 1 评论 -
U盘安装CentOS 6.2(超级详细图解教程)
http://www.osyunwei.com/archives/2307.html转载 2015-07-24 10:13:19 · 706 阅读 · 0 评论 -
VmWare下扩展虚拟机内系统centos6.6的硬盘分区空间(图文讲解)
一,(1) .点击【虚拟机---设置】弹出如下画面 (2)双击【硬盘】,点击【扩展】如下图,选择要扩展的容量二, 进入虚拟机centos6.6命令行,进行一下操作:(1) 查看现有的硬盘分区情况 df -lh(2).对新增的硬盘空间做新增分区(硬盘数没有增加,增加的是空间) sudo fdisk原创 2015-09-15 20:46:50 · 1026 阅读 · 1 评论 -
大数据下的用户行为分析
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl转载 2016-01-26 10:10:25 · 12082 阅读 · 2 评论 -
如何构建用户画像
从1991年Tim Berners-Lee发明了万维网(World Wide Web)开始,到20年后2011年,互联网真正走向了一个新的里程碑,进入了“大数据时代”。经历了12、13两年热炒之后,人们逐渐冷静下来,更加聚焦于如何利用大数据挖掘潜在的商业价值,如何在企业中实实在在的应用大数据技术。伴随着大数据应用的讨论、创新,个性化技术成为了一个重要落地点。相比传统的线下会员管理、问卷调查、购物篮分转载 2016-01-26 10:19:03 · 2132 阅读 · 0 评论 -
Operation category READ is not supported in state standby解决办法
当从一个集群向另一个集群中导入数据时hadoop distcp hdfs://1.1.1.1:8080/user/hive/warehouse/database_name.db/tableName/partitions hafs://2.2.2.2:8020/user/hive/warehouse/database_name.db/tableName/partitions/*出现以下错误: or原创 2016-08-18 09:55:05 · 45585 阅读 · 0 评论 -
Spark运行架构
转 http://blog.csdn.net/vfgbv/article/details/51671431 1、 Spark运行架构 1.1 术语定义 lApplication:Spark Application的概念和Hadoop MapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码;lDrive转载 2016-08-25 21:56:55 · 987 阅读 · 0 评论