关闭
当前搜索:

数据仓库(六)---分布式SQL查询引擎---presto介绍

我们在之前的文章中已经学习了数据仓库hive,如果要对数据仓库进行交互查询,则需要交互查询的引擎用于提高查询效率。本章介绍presto。 简介 Presto是一个开源的分布式SQL查询引擎,适用于实时交互式分析查询,支持海量的数据;主要是为了解决商业数据仓库的交互分析,和处理速度低下的问题。它支持标准的ANSI SQL,包括复杂查询、聚合(aggregation)、连接(join)和窗口函数(......
阅读(39) 评论(0)

调研----小米架构师:亿级大数据实时分析与工具选型

讲师介绍 欧阳辰,超过15年的软件开发和设计经验,目前就职于小米公司,负责小米广告平台的架构研发。 曾为微软公司工作10年,担任高级软件开发主管,领导团队参与微软搜索索引和搜索广告平台的研发工作。曾在甲骨文公司从事数据库和应用服务器的研发工作。热爱架构设计和高可用性系统,特别对于大规模互联网软件的开发,具有丰富的理论知识和实践经验。 大家好,很高兴能跟大家分享一些关于实时数据分析的话题。 ......
阅读(298) 评论(0)

数据分析团队的搭建与思考

大家早上好,非常高兴能来参加这次上海站的数据驱动增长大会。 以前说到数据驱动业务增长,我们第一个想到的可能是数据分析的方法。但就目前来看,数据驱动业务的增长已经成为一个不仅仅是分析方法和模型,而是包括了数据人才培养、数据架构的设计,甚至整个公司组织架构设计的企业治理问题。所以今天我想从途家数据团队的发展、部门的构成及职责这两个方面去跟大家分享一下途家网的一些实践。 如果对一个公司的业务没有足够......
阅读(93) 评论(0)

用户行为服务系统架构调研----电信用户行为分析系统架构

2基于云计算的系统总体设计方案 2.1系统总体技术架构 本文设计的移动互联网用户行为分析引擎通过云计算技术实现分布式并发的大规模计算能力,构建移动互联网端到端的大数据挖掘分析系统,实现对DPI和应用平台用户上网行为的偏好分析,提供个性化推荐服务,打通从数据采集、分析到服务提供、营销执行的全过程。 系统通过FTP服务器获取数据,在接口层采用分布式计算与批量处理相结合的方式,将大数据......
阅读(132) 评论(0)

用户行为服务系统架构调研----携程实时用户行为服务系统架构实践

携程实时用户行为服务作为基础服务,目前普遍应用在多个场景中,比如猜你喜欢(携程的推荐系统)、动态广告、用户画像、浏览历史等等。 以猜你喜欢为例,猜你喜欢为应用内用户提供潜在选项,提高成交效率。旅行是一项综合性的需求,用户往往需要不止一个产品。作为一站式的旅游服务平台,跨业务线的推荐,特别是实时推荐,能实际满足用户的需求,因此在上游提供打通各业务线之间的用户行为数据有很大的必要性。 携程原有的实......
阅读(213) 评论(0)

大数据学习路线攻略

经常有初学者在博客和QQ问我,自己想往大数据方向发展,该学哪些技术,学习路线是什么样的,觉得大数据很火,就业很好,薪资很高。如果自己很迷茫,为了这些原因想往大数据方向发展,也可以,那么我就想问一下,你的专业是什么,对于计算机/软件,你的兴趣是什么?是计算机专业,对操作系统、硬件、网络、服务器感兴趣?是软件专业,对软件开发、编程、写代码感兴趣?还是数学、统计学专业,对数据和数字特别感兴趣。 其实这......
阅读(99) 评论(0)

遇到问题----/var/log/messages被写满占空间

我们之前遇到过一个问题,日志文件把服务器空间占完了导致web服务不正常。 遇到问题——tomcat重新启动Insufficient space for shared memory file 解决方式是把日志文件删除后恢复正常。 但是过一段时间发现又满了。 要彻底解决这个问题还得从日志文件的配置入手。 /var/log/messages – 包含整个系统的信息,包括系统启动期间被记录的日志......
阅读(102) 评论(0)

遇到问题------tomcat重新启动Insufficient space for shared memory file

情况 线上的web项目css等样式突然失效,加载不出来。 想重新启动但是报错Insufficient space for shared memory file。 Java HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file 原因分析 根据排查是服务器的资源不足 解决方式 使用命......
阅读(83) 评论(0)

Bootstrap框架----DataTables列表增加备注功能

我们在上一章节中已经学习了DataTables在BootStrap框架中的使用方式和初始化。 Bootstrap框架——DataTables列表示例 本章学习DataTables列表增加备注功能,可以通过点击按钮后编辑备注发送到后台保存入库。 官网例子参考 环境准备 DataTables列表折叠列的使用建立在上篇文件的基础上 Bootstrap框架——DataTables列表示例 最...
阅读(442) 评论(0)

Bootstrap框架----DataTables列表折叠列

我们在上一章节中已经学习了DataTables在BootStrap框架中的使用方式和初始化。 Bootstrap框架——DataTables列表示例 本章学习行详细内容的展开与折叠,当数据量多时,可以通过点击按钮后再去请求获取数据进行展示。 官网例子参考 行详细内容的展开与折叠 http://datatables.club/example/user_share/row_details.h...
阅读(538) 评论(0)

Bootstrap框架----DataTables列表移动端适配定义隐藏列

我们在上一章节中已经学习了DataTables在BootStrap框架中的使用方式和初始化。 Bootstrap框架—-DataTables列表示例 最终效果如图: Bootstrap是自动适配移动端的,在手机上查看效果如图: 我们发现当数据有很多列时,会存在超出屏幕的可能。这时候表格表现为在屏幕范围内可左右滑动。 我们还有另一种解决方案。 就是在移动端情况下隐藏部分列,点击展...
阅读(650) 评论(0)

Bootstrap框架----DataTables列表示例

简介 DataTables是一款比较好用的可以在bootstrap中使用的jquery表格插件。 它是一个高度灵活的工具,可以为任何HTML表格添加高级的交互功能。 DataTables特点 分页,即时搜索和排序 几乎支持任何数据源:DOM, javascript, Ajax 和 服务器处理 支持不同主题 DataTables, jQuery UI, Bootstrap, Founda...
阅读(510) 评论(0)

遇到的问题--java--JSP页面EL表达式$显示key为数字的map

action中的代码 private MapString, String> msgs = new HashMapString, String> msgs.put("1", "验证码错误"); request.setAttribute("msgs",msgs); jsp页面中的代码: script type="text/javascript"> var msgTip = "${...
阅读(448) 评论(0)

Bootstrap框架----多条记录双文本(List)添加

有时候我们需要实现双文本的多条记录录入,传给后台保存成List的结构。 界面交互设计如图: 可动态添加行数,每行固定两个文本录入。 我们在之前的文章中已经在SpringMVC基础框架的基础上应用了BootStrap的后台框架,在此基础上记录 地址联动输入用法。 应用bootstrap模板 基础项目源码下载地址为: SpringMVC+Shiro+MongoDB+BootStrap基...
阅读(511) 评论(0)

遇到问题----kettle----写入mysql中文乱码

新建流程如下: CSV文件输入如下: 使用utf-8编码 CSV文件也已经在记事本中另存为UTF-8的文本。 表输出如下: mysql中创建语句如下: CREATE TABLE `nors2` ( `id` int(11) NOT NULL AUTO_INCREMENT, `barcode` varchar(64) DEFAULT NULL, `prod...
阅读(537) 评论(0)

kettle案例九-----linux使用kettle

我们之前学习的kettle操作都是在windows中进行可视化的操作,但是在使用过程中发现一些问题。 比如我们的数据文件是放在linux服务器中的,如果要清洗则需要把它们下载到本地,这样需要耗费一些时间,尤其是数据文件比较大时。 解决方案就是 我们直接在linux服务器中运行kettle进行抽取。 Kettle可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定,不...
阅读(730) 评论(0)

kettle案例八连接hive--抽取hive的数据保存excel

我们在上篇文章已经学习了如何把数据放入hive中。 kettle案例七连接hive–抽取mongodb的数据保存到hive 本章学习如何把数据从hive中导出来。 官网参考连接 https://wiki.pentaho.com/display/BAD/Extracting+Data+from+Hive+to+Load+an+RDBMS 在hive中启动hiveserver2 我们在之前...
阅读(576) 评论(0)

kettle案例七连接hive--抽取mongodb的数据保存到hive

hive作为数据仓库的载体,一般情况下我们会经常把数据保存到hive中。 本章通过抽取mongodb的数据保存到hive的案例来学习连接hive。 kettle把数据导入hive有两种思路 一种是通过hiveserver2使用JDBC的连接方式,这种是一条一条的进行写入,可能速度上要慢一些。 一种是使用Hadoop File Input方式把文件放入hdfs,然后使用hive命令来加载。适...
阅读(703) 评论(0)

hadoop基础----hadoop实战(十一)-----hadoop管理工具---CDH的目录结构了解

我们在进行hadoop和hive集群的使用和操作时经常需要获取hadoop和hive的版本以及从服务器上获取它们的相关jar包,才能保证驱动一致运行正常。 但是我们发现使用CDH安装的hadoop和hive集群找不到它们的相关jar包,因为CDH安装集群的过程对我们来说是透明的。 (透明:在计算机中,客观存在并且运行着但是我们看不到的特性。) 针对这种情况,对CDH的目录结构进行了解就非常重...
阅读(574) 评论(0)

hadoop组件---数据仓库(五)---通过JDBC连接hive的thrift或者hiveserver2

我们在上一篇文章中已经学习了Hive的常用命令,但是如果使用其他的语言如何跟Hive进行交互呢。 Thrift简介 Hive拥有HiveServer(Thrift)或者Hiveserver2组件,提供了JDBC驱动服务,使得我们可以用Java代码或者Python来连接Hive并进行一些关系型数据库的sql语句查询等操作。 HiveServer或者HiveServer2都是基于Thrift的,...
阅读(598) 评论(0)
683条 共35页1 2 3 4 5 ... 下一页 尾页
    个人资料
    • 访问:2399332次
    • 积分:27463
    • 等级:
    • 排名:第242名
    • 原创:615篇
    • 转载:68篇
    • 译文:0篇
    • 评论:323条
    博客专栏