共享单车项目、mongodb集群

需求分析 摩拜单车的重点是物联网大数据 车投放在什么地方,要根据数据来进行支撑,根据历史数据(骑行记录) 通过共享单车的骑行数据可以分析出个性城市 成都休闲之都:骑行的地方多为娱乐场所 上海敬业之城:共享单车作为通勤的辅助手段 北京早起之城:早高峰的出现早于其他城市 深圳不夜之城:夜晚骑...

2019-02-16 21:06:21

阅读数 45

评论数 0

数据存储方式总结

关系型数据库: Oracle、DB2、Microsoft SQL Server、Microsoft Access、MySQL 非关系型数据库: NoSql、Cloudant、MongoDb、redis、HBase   还有我们学过的: hdfs、hive数据仓库   两种数据库之间...

2019-01-10 15:33:12

阅读数 39

评论数 0

SparkStreaming讲解与使用

一、SparkStreaming概述 Spark内置对象: sparkconf: SparkContext的初始化需要一个SparkConf对象,SparkConf包含了Spark集群配置的各种参数。 SparkContext: **SparkContex...

2019-01-05 16:11:05

阅读数 72

评论数 0

java线程的交替执行与谦让执行

1.两个线程的交替执行 package myThread; public class alternateThread { Object o=new Object(); Boolean f=true; class Thread1 extends Thread{ ...

2019-01-02 16:55:38

阅读数 39

评论数 0

DataFrame registerTempTable(注册临时表)后Table Not Found问题的解决

DataFrame registerTempTable(注册临时表)后Table Not Found问题的解决 将数据存成数据集的方式是实现数据各种操作非常有效的一种方式。也能够迅速实现数据的导入与导出。 Spark DataFrame提供了registerTempTable这样的接口,可以将...

2018-12-31 04:11:57

阅读数 108

评论数 0

centos6.8修改IP为静态static后开机IP地址还会变的解决办法

centos6.5修改IP为静态static后开机IP地址还会变的解决办法 2018年01月08日 13:16:22 smilecattobelucky 阅读数:1238  版权声明:本文为博主原创文章,转载请注明出处. https://blog.csdn.net/springyh/artic...

2018-12-30 19:14:17

阅读数 62

评论数 0

elasticSearch的安装与使用

__________________________________________________________________________ 上课流程:       学生知识点分享      上堂课知识点回顾(采取默写的形式)      上堂课作业(项目)讲授           2...

2018-12-27 20:45:44

阅读数 45

评论数 0

Hadoop元数据存储、加载、恢复

Hadoop元数据存储、加载、恢复 1. 元数据加载  为了保证交互速度,HDFS文件系统的metadata是被load到namenode机器的内存中的。 并会将内存中的这些数据保存到磁盘进行持久化存储,但对块的位置信息不进行持久化存储,在DataNode向namenode进行注册时动态加载。...

2018-12-22 23:40:24

阅读数 69

评论数 0

radis数据库的简单的使用

常用命令 就DB来说,Redis成绩已经很惊人了,且不说memcachedb和tokyocabinet之流,就说原版的memcached,速度似乎也只能达到这个级别。Redis根本是使用内存存储,持久化的关键是这三条指令:SAVE BGSAVE LASTSAVE … 常见可执行文件: redi...

2018-12-22 10:13:51

阅读数 64

评论数 0

redis的安装

      安装: 由于redis是c语言写的,所以需要先安装c的支持,然后编译安装 [root@hadoop01 ~]# yum -y install cpp binutils glibc glibc-kernheaders glibc-common glibc-devel gcc m...

2018-12-21 21:32:59

阅读数 22

评论数 0

关于hive 创建新表,两个表join 两个表中都有相同字段的处理

此时 select * from A left join B on A.paper_id=B.paper_id 会报错: FAILED: SemanticException [Error 10036]: Duplicate column name: paper_id 解决: ...

2018-12-19 17:08:11

阅读数 732

评论数 0

关于hive的分段统计的解析例如求18-24、25-30年龄段的计数的统计

解决办法就是将比如是19、20、21、22、23岁的数据加一个分段表及,比如说将18-24岁的都标记为“18_24”,将25-30 岁的都标记为“25_30”,这样就很好解决问题了 加条件语句为 case when age>=0 and age<=...

2018-12-19 14:20:02

阅读数 560

评论数 0

sqoop的使用

mysql数据导入hive(创建表同时导入指定数据库) bin/sqoop import \ --connect jdbc:mysql://had01:3306/studentexam \ --username root \ --password root \ --table category ...

2018-12-19 13:56:30

阅读数 15

评论数 0

azkabin实现每天向hive分区表中加载数据——每天自动生成一个分区

第一步:创建分区表 create database hive_autoload; create table hive_autoload.student2( uid string, gender string, fuid string ) partitioned by (dt string) ro...

2018-12-18 20:45:13

阅读数 95

评论数 0

azkabin的安装与调试

Git上下载源码: 地址:https://github.com/azkaban/azkaban   解压源码到/home: unzip /home/azkaban-master.zip -d /home/   编译源码:     安装: 在安装咯hadoop、hive、sqoo...

2018-12-17 16:12:35

阅读数 43

评论数 0

group by 与partition by 的效果展示,希望对大家有帮助

student.uid     student.xi      student.fuid 1       1       1 1       1       3 2       1       10 2       2       11 1       1       4 1       2   ...

2018-12-17 09:32:47

阅读数 21

评论数 0

微博粉丝互粉列表统计

微博粉丝互粉统计 mapper阶段 import org.apache.hadoop.io.NullWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Mapper;import jav...

2018-12-13 20:37:23

阅读数 220

评论数 0

电信客服分析实现思路

电信项目: 一、idea项目构建 1、安装jdk并配置环境变量   2、安装maven,解压离线仓库,并设置settings  conf目录下的setttings.xml文件复制到离线仓库的m2目录下,并修改mirror标签以及离线仓库路径。       设置idea工具的maven选...

2018-12-12 20:05:35

阅读数 80

评论数 0

hadoop——hive视频观看热度,Top N案例(youtube)

数据准备 user.txt 0.txt 字段以及字段名解析   user表 字段 备注 字段类型 uploader 上传者用户名 string videos 上传视频数 int friends 朋友数量 int   视频表: 字段 备注 详细描述 video id 视频唯一...

2018-12-11 18:02:22

阅读数 240

评论数 0

使用二分查找法,查找ip所在的范围对应的code(语言为java\scala\python) java语言来实现

使用二分法实现查找ip所在的范围,并返回对应的id start_ip end_ip code 0.0.0.0 1.0.0.255 1000000000 1.0.1.0 1.0.3.255 1156350100 1.0.4.0 1.0.7.255 1036000000 1.0.8.0 1.0...

2018-12-11 16:48:25

阅读数 32

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭