hadoop学习笔记之七：hadoop与Mongodb结合

最新推荐文章于 2023-05-09 09:18:41 发布
最新推荐文章于 2023-05-09 09:18:41 发布
阅读量937 收藏 3
点赞数
分类专栏： hadoop 文章标签： hadoop mongodb
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lifeneedyou/article/details/84689077
版权

          mongodb是NoSQl领域里非常流行的一款非关系型数据库，提供了强大的分片存储与查询功能，用来做历史数据（日志）存储与查询比较适合，本身也提供了mapreduce功能，但是并不是任何时候Mongodb的使用者都会使用分片功能，更大的可能是使用副本集的方式（有时候机器并不多），而Hadoop提供了HDFS和分布式计算的功能，我们可以利用hadoop的MapReduce来取代Mongodb的MapReduce，用Mongodb的副本集来取代Hadoop的HDFS，那么就有了Hadoop与Mongodb之间的连接器（adapter）mongo-hadoop-master项目（目前在github上课可以下载到）

 

      一 ：下载地址：https://github.com/mongodb/mongo-hadoop

      二： 下载之后解压：

       

[root@bigdata2 software]# cd mongo-hadoop-master
[root@bigdata2 mongo-hadoop-master]# ll
total 140
drwxr-xr-x 3 root root  4096 Oct 15 11:53 bin
-rw-r--r-- 1 root root  5848 Oct 15 11:53 BSON_README.md
drwxr-xr-x 4 root root  4096 Nov 30 13:06 build
-rwxr-xr-x 1 root root   168 Oct 15 11:53 build-all.sh
-rw-r--r-- 1 root root 12731 Oct 15 11:53 build.gradle
drwxr-xr-x 2 root root  4096 Oct 15 11:53 clusterConfigs
drwxr-xr-x 2 root root  4096 Oct 15 11:53 config
-rw-r--r-- 1 root root  7458 Oct 15 11:53 CONFIG.md
drwxr-xr-x 4 root root  4096 Nov 30 13:06 core
drwxr-xr-x 6 root root  4096 Oct 15 11:53 docs
drwxr-xr-x 7 root root  4096 Oct 15 11:53 examples
drwxr-xr-x 3 root root  4096 Oct 15 11:53 flume
drwxr-xr-x 3 root root  4096 Oct 15 11:53 gradle
-rwxr-xr-x 1 root root  5080 Oct 15 11:53 gradlew
-rw-r--r-- 1 root root  2314 Oct 15 11:53 gradlew.bat
-rw-r--r-- 1 root root  1862 Oct 15 11:53 History.md
drwxr-xr-x 3 root root  4096 Oct 15 11:53 hive
drwxr-xr-x 3 root root  4096 Oct 15 11:53 integration-tests
-rw-r--r-- 1 root root  6764 Oct 15 11:53 mongo-defaults.xml
-rw------- 1 root root  4843 Nov 30 13:12 nohup.out
drwxr-xr-x 3 root root  4096 Oct 15 11:53 pig
-rw-r--r-- 1 root root  5106 Oct 15 11:53 README.md
-rw-r--r-- 1 root root   137 Oct 15 11:53 settings.gradle
drwxr-xr-x 5 root root  4096 Oct 15 11:53 streaming
-rwxr-xr-x 1 root root   682 Oct 15 11:53 test.sh
drwxr-xr-x 2 root root  4096 Oct 15 11:53 tools
[root@bigdata2 mongo-hadoop-master]#

 

 

    其中Example目录是自带的测试案例，我这里会采用mongo-hadoop-master/examples/treasury_yield 这个案例里面的src/main/resources/下面哦json数据

   

部分数据 写道
{ "_id" : { "$date" : 631238400000 }, "dayOfWeek" : "TUESDAY", "bc3Year" : 7.9, "bc5Year" : 7.87, "bc10Year" : 7.94, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 7.87, "bc3Month" : 7.83, "bc30Year" : 8, "bc1Year" : 7.81, "bc7Year" : 7.98, "bc6Month" : 7.89 }
{ "_id" : { "$date" : 631324800000 }, "dayOfWeek" : "WEDNESDAY", "bc3Year" : 7.96, "bc5Year" : 7.92, "bc10Year" : 7.99, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 7.94, "bc3Month" : 7.89, "bc30Year" : 8.039999999999999, "bc1Year" : 7.85, "bc7Year" : 8.039999999999999, "bc6Month" : 7.94 }
{ "_id" : { "$date" : 631411200000 }, "dayOfWeek" : "THURSDAY", "bc3Year" : 7.93, "bc5Year" : 7.91, "bc10Year" : 7.98, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 7.92, "bc3Month" : 7.84, "bc30Year" : 8.039999999999999, "bc1Year" : 7.82, "bc7Year" : 8.02, "bc6Month" : 7.9 }
{ "_id" : { "$date" : 631497600000 }, "dayOfWeek" : "FRIDAY", "bc3Year" : 7.94, "bc5Year" : 7.92, "bc10Year" : 7.99, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 7.9, "bc3Month" : 7.79, "bc30Year" : 8.06, "bc1Year" : 7.79, "bc7Year" : 8.029999999999999, "bc6Month" : 7.85 }
{ "_id" : { "$date" : 631756800000 }, "dayOfWeek" : "MONDAY", "bc3Year" : 7.95, "bc5Year" : 7.92, "bc10Year" : 8.02, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 7.9, "bc3Month" : 7.79, "bc30Year" : 8.09, "bc1Year" : 7.81, "bc7Year" : 8.050000000000001, "bc6Month" : 7.88 }
{ "_id" : { "$date" : 631843200000 }, "dayOfWeek" : "TUESDAY", "bc3Year" : 7.94, "bc5Year" : 7.92, "bc10Year" : 8.02, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 7.91, "bc3Month" : 7.8, "bc30Year" : 8.1, "bc1Year" : 7.78, "bc7Year" : 8.050000000000001, "bc6Month" : 7.82 }
{ "_id" : { "$date" : 631929600000 }, "dayOfWeek" : "WEDNESDAY", "bc3Year" : 7.95, "bc5Year" : 7.92, "bc10Year" : 8.029999999999999, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 7.91, "bc3Month" : 7.75, "bc30Year" : 8.109999999999999, "bc1Year" : 7.77, "bc7Year" : 8, "bc6Month" : 7.78 }
{ "_id" : { "$date" : 632016000000 }, "dayOfWeek" : "THURSDAY", "bc3Year" : 7.95, "bc5Year" : 7.94, "bc10Year" : 8.039999999999999, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 7.91, "bc3Month" : 7.8, "bc30Year" : 8.109999999999999, "bc1Year" : 7.77, "bc7Year" : 8.01, "bc6Month" : 7.8 }
{ "_id" : { "$date" : 632102400000 }, "dayOfWeek" : "FRIDAY", "bc3Year" : 7.98, "bc5Year" : 7.99, "bc10Year" : 8.1, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 7.93, "bc3Month" : 7.74, "bc30Year" : 8.17, "bc1Year" : 7.76, "bc7Year" : 8.07, "bc6Month" : 7.81 }
{ "_id" : { "$date" : 632448000000 }, "dayOfWeek" : "TUESDAY", "bc3Year" : 8.130000000000001, "bc5Year" : 8.109999999999999, "bc10Year" : 8.199999999999999, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.1, "bc3Month" : 7.89, "bc30Year" : 8.25, "bc1Year" : 7.92, "bc7Year" : 8.18, "bc6Month" : 7.99 }
{ "_id" : { "$date" : 632534400000 }, "dayOfWeek" : "WEDNESDAY", "bc3Year" : 8.109999999999999, "bc5Year" : 8.109999999999999, "bc10Year" : 8.19, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.09, "bc3Month" : 7.97, "bc30Year" : 8.25, "bc1Year" : 7.91, "bc7Year" : 8.17, "bc6Month" : 7.97 }
{ "_id" : { "$date" : 632620800000 }, "dayOfWeek" : "THURSDAY", "bc3Year" : 8.279999999999999, "bc5Year" : 8.27, "bc10Year" : 8.32, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.25, "bc3Month" : 8.039999999999999, "bc30Year" : 8.35, "bc1Year" : 8.050000000000001, "bc7Year" : 8.31, "bc6Month" : 8.08 }
{ "_id" : { "$date" : 632707200000 }, "dayOfWeek" : "FRIDAY", "bc3Year" : 8.23, "bc5Year" : 8.199999999999999, "bc10Year" : 8.26, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.199999999999999, "bc3Month" : 8, "bc30Year" : 8.289999999999999, "bc1Year" : 8, "bc7Year" : 8.24, "bc6Month" : 8.01 }
{ "_id" : { "$date" : 632966400000 }, "dayOfWeek" : "MONDAY", "bc3Year" : 8.199999999999999, "bc5Year" : 8.19, "bc10Year" : 8.27, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.18, "bc3Month" : 7.99, "bc30Year" : 8.31, "bc1Year" : 7.98, "bc7Year" : 8.25, "bc6Month" : 7.99 }
{ "_id" : { "$date" : 633052800000 }, "dayOfWeek" : "TUESDAY", "bc3Year" : 8.199999999999999, "bc5Year" : 8.18, "bc10Year" : 8.26, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.18, "bc3Month" : 7.93, "bc30Year" : 8.289999999999999, "bc1Year" : 7.97, "bc7Year" : 8.23, "bc6Month" : 7.97 }
{ "_id" : { "$date" : 633139200000 }, "dayOfWeek" : "WEDNESDAY", "bc3Year" : 8.289999999999999, "bc5Year" : 8.279999999999999, "bc10Year" : 8.380000000000001, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.199999999999999, "bc3Month" : 7.93, "bc30Year" : 8.41, "bc1Year" : 8, "bc7Year" : 8.34, "bc6Month" : 7.99 }
{ "_id" : { "$date" : 633225600000 }, "dayOfWeek" : "THURSDAY", "bc3Year" : 8.32, "bc5Year" : 8.31, "bc10Year" : 8.42, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.24, "bc3Month" : 7.95, "bc30Year" : 8.460000000000001, "bc1Year" : 8.029999999999999, "bc7Year" : 8.390000000000001, "bc6Month" : 8.01 }
{ "_id" : { "$date" : 633312000000 }, "dayOfWeek" : "FRIDAY", "bc3Year" : 8.380000000000001, "bc5Year" : 8.380000000000001, "bc10Year" : 8.49, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.279999999999999, "bc3Month" : 7.93, "bc30Year" : 8.550000000000001, "bc1Year" : 8.07, "bc7Year" : 8.449999999999999, "bc6Month" : 8.039999999999999 }
{ "_id" : { "$date" : 633571200000 }, "dayOfWeek" : "MONDAY", "bc3Year" : 8.390000000000001, "bc5Year" : 8.390000000000001, "bc10Year" : 8.5, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.300000000000001, "bc3Month" : 8, "bc30Year" : 8.539999999999999, "bc1Year" : 8.08, "bc7Year" : 8.449999999999999, "bc6Month" : 8.09 }
{ "_id" : { "$date" : 633657600000 }, "dayOfWeek" : "TUESDAY", "bc3Year" : 8.390000000000001, "bc5Year" : 8.43, "bc10Year" : 8.51, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.300000000000001, "bc3Month" : 8, "bc30Year" : 8.550000000000001, "bc1Year" : 8.09, "bc7Year" : 8.470000000000001, "bc6Month" : 8.140000000000001 }
{ "_id" : { "$date" : 633744000000 }, "dayOfWeek" : "WEDNESDAY", "bc3Year" : 8.359999999999999, "bc5Year" : 8.35, "bc10Year" : 8.43, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.279999999999999, "bc3Month" : 8, "bc30Year" : 8.460000000000001, "bc1Year" : 8.08, "bc7Year" : 8.390000000000001, "bc6Month" : 8.130000000000001 }
{ "_id" : { "$date" : 633830400000 }, "dayOfWeek" : "THURSDAY", "bc3Year" : 8.35, "bc5Year" : 8.35, "bc10Year" : 8.42, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.279999999999999, "bc3Month" : 8.02, "bc30Year" : 8.44, "bc1Year" : 8.09, "bc7Year" : 8.380000000000001, "bc6Month" : 8.130000000000001 }
{ "_id" : { "$date" : 633916800000 }, "dayOfWeek" : "FRIDAY", "bc3Year" : 8.43, "bc5Year" : 8.42, "bc10Year" : 8.5, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.369999999999999, "bc3Month" : 8.07, "bc30Year" : 8.51, "bc1Year" : 8.130000000000001, "bc7Year" : 8.460000000000001, "bc6Month" : 8.17 }
{ "_id" : { "$date" : 634176000000 }, "dayOfWeek" : "MONDAY", "bc3Year" : 8.43, "bc5Year" : 8.44, "bc10Year" : 8.529999999999999, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.369999999999999, "bc3Month" : 8.08, "bc30Year" : 8.529999999999999, "bc1Year" : 8.15, "bc7Year" : 8.48, "bc6Month" : 8.18 }
{ "_id" : { "$date" : 634262400000 }, "dayOfWeek" : "TUESDAY", "bc3Year" : 8.43, "bc5Year" : 8.49, "bc10Year" : 8.57, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.42, "bc3Month" : 8.09, "bc30Year" : 8.58, "bc1Year" : 8.15, "bc7Year" : 8.52, "bc6Month" : 8.17 }
{ "_id" : { "$date" : 634348800000 }, "dayOfWeek" : "WEDNESDAY", "bc3Year" : 8.43, "bc5Year" : 8.51, "bc10Year" : 8.52, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.42, "bc3Month" : 8.08, "bc30Year" : 8.57, "bc1Year" : 8.17, "bc7Year" : 8.529999999999999, "bc6Month" : 8.19 }
{ "_id" : { "$date" : 634435200000 }, "dayOfWeek" : "THURSDAY", "bc3Year" : 8.390000000000001, "bc5Year" : 8.449999999999999, "bc10Year" : 8.49, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.369999999999999, "bc3Month" : 8.08, "bc30Year" : 8.5, "bc1Year" : 8.130000000000001, "bc7Year" : 8.48, "bc6Month" : 8.18 }
{ "_id" : { "$date" : 634521600000 }, "dayOfWeek" : "FRIDAY", "bc3Year" : 8.24, "bc5Year" : 8.289999999999999, "bc10Year" : 8.31, "bc20Year" : null, "bc1Month" : null, "bc2Year" : 8.25, "bc3Month" : 8.02, "bc30Year" : 8.359999999999999, "bc1Year" : 8.029999999999999, "bc7Year" : 8.34, "bc6Month" : 8.09 }

 

   

  三： 我们查看他的README.md，可以看出 ，需要编译

   

## Building

The mongo-hadoop connector currently supports the following versions of hadoop:  0.23, 1.0, 1.1, 2.2, 2.3, 2.4, 
and CDH 4 abd 5.  The default build version will build against the last Apache Hadoop (currently 2.4).  If you would like to build 
against a specific version of Hadoop you simply need to pass `-PclusterVersion=<your version>` to gradlew when building.

Run `./gradlew jar` to build the jars.  The jars will be placed in to `build/libs` for each module.  e.g. for the core module, 
it will be generated in the `core/build/libs` directory.

After successfully building, you must copy the jars to the lib directory on each node in your hadoop cluster. This is usually one of the
following locations, depending on which Hadoop release you are using:

* `$HADOOP_HOME/lib/`
* `$HADOOP_HOME/share/hadoop/mapreduce/`
* `$HADOOP_HOME/share/hadoop/lib/`

## Supported Distributions of Hadoop

| Hadoop Version                       | Build Parameter         |
| :----------------------------------: | :---------------------: |
| Apache Hadoop 0.23                   | -PclusterVersion='0.23' |
| Apache Hadoop 1.0                    | -PclusterVersion='1.0'  |
| Apache Hadoop 1.1                    | -PclusterVersion='1.1'  |
| Apache Hadoop 2.2                    | -PclusterVersion='2.2'  |
| Apache Hadoop 2.3                    | -PclusterVersion='2.3'  |
| Apache Hadoop 2.4                    | -PclusterVersion='2.4'  |
--More--(49%)

    我们按照下面指令编译：

 

  

./gradlew jar

 

 

   编译过程比较缓慢，下载一个较大的软件是amazon的s3,有250多M，完成以后，会在core/build/libs目录下生成Jar包 mongo-hadoop-core-1.4.0-SNAPSHOT.jar（最大的战斗成果。。） ，我们带上JAVA连接MongoDb的驱动，一起拷贝到$hadoop_home/lib里面 ，当然也可以采用运行时加载的方法

   

  DistributedCache.addFileToClassPath(new Path("/root/software/mongo-java-driver-2.11.1.jar"), conf);
  DistributedCache.addFileToClassPath(new Path("/root/software/mongo-hadoop-core-1.4.0-SNAPSHOT.jar"), conf);

 

 

    有了编译好的驱动，我们就可以用它来连接Mongodb了。

       四：首先我们准备数据，把刚才的数据导入到mongodb

   

mongoimport --host 127.0.0.1 --port 27017 -d testmr -c example --file ./yield_historical_in.json

 

 

      查看数据：

    

写道
> show collections
example
mongotest
system.indexes
> db.example.find().limit(2);
{ "_id" : ISODate("1990-01-02T00:00:00Z"), "dayOfWeek" : "TUESDAY", "bc3Year" :
7.9, "bc5Year" : 7.87, "bc10Year" : 7.94, "bc20Year" : null, "bc1Month" : null,
"bc2Year" : 7.87, "bc3Month" : 7.83, "bc30Year" : 8, "bc1Year" : 7.81, "bc7Year"
: 7.98, "bc6Month" : 7.89 }
{ "_id" : ISODate("1990-01-03T00:00:00Z"), "dayOfWeek" : "WEDNESDAY", "bc3Year"
: 7.96, "bc5Year" : 7.92, "bc10Year" : 7.99, "bc20Year" : null, "bc1Month" : nul
l, "bc2Year" : 7.94, "bc3Month" : 7.89, "bc30Year" : 8.04, "bc1Year" : 7.85, "bc
7Year" : 8.04, "bc6Month" : 7.94 }
>

     五：新建一个MapReduce工程

   


import java.io.IOException;
import java.util.Date;

import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.mapreduce.Mapper;
import org.bson.BSONObject;

public class MongoTestMapper extends Mapper<Object,BSONObject, IntWritable, DoubleWritable> {

                @Override
                public void map(final Object pkey, final BSONObject pvalue,final Context context)
                {
                        final int year = ((Date)pvalue.get("_id")).getYear()+1990;
                        double bdyear  = ((Number)pvalue.get("bc10Year")).doubleValue();
                        try {
                                context.write( new IntWritable( year ), new DoubleWritable( bdyear ));
                        } catch (IOException e) {
                                // TODO Auto-generated catch block
                                e.printStackTrace();
                        } catch (InterruptedException e) {
                                // TODO Auto-generated catch block
                                e.printStackTrace();
                        }
                }
}

  

public class MongoTestReducer extends Reducer<IntWritable,DoubleWritable,IntWritable,BSONWritable>
{
        public void reduce( final IntWritable pKey,
            final Iterable<DoubleWritable> pValues,
            final Context pContext ) throws IOException, InterruptedException{
          int count = 0;
      double sum = 0.0;
      for ( final DoubleWritable value : pValues ){
          sum += value.get();
          count++;
      }

      final double avg = sum / count;

                BasicBSONObject out = new BasicBSONObject();
                out.put("avg", avg);
                pContext.write(pKey, new BSONWritable(out));
        }
}

 

 

这是一个计算平均值的例子的部分代码，之后在Hadoop环境上运行，可以看到输出到Mongodb的结果

 

 

写道
> db.mongotest.find();
{ "_id" : 2080, "avg" : 8.552400000000002 }
{ "_id" : 2081, "avg" : 7.8623600000000025 }
{ "_id" : 2082, "avg" : 7.008844621513946 }
{ "_id" : 2083, "avg" : 5.866279999999999 }
{ "_id" : 2084, "avg" : 7.085180722891565 }
{ "_id" : 2085, "avg" : 6.573920000000002 }
{ "_id" : 2086, "avg" : 6.443531746031742 }
{ "_id" : 2087, "avg" : 6.353959999999992 }
{ "_id" : 2088, "avg" : 5.262879999999994 }
{ "_id" : 2089, "avg" : 5.646135458167332 }
{ "_id" : 2090, "avg" : 6.030278884462145 }
{ "_id" : 2091, "avg" : 5.02068548387097 }
{ "_id" : 2092, "avg" : 4.61308 }
{ "_id" : 2093, "avg" : 4.013879999999999 }
{ "_id" : 2094, "avg" : 4.271320000000004 }
{ "_id" : 2095, "avg" : 4.288880000000001 }
{ "_id" : 2096, "avg" : 4.7949999999999955 }
{ "_id" : 2097, "avg" : 4.634661354581674 }
{ "_id" : 2098, "avg" : 3.6642629482071714 }
{ "_id" : 2099, "avg" : 3.2641200000000037 }
Type "it" for more

 

    

lifeneedyou
关注
专栏目录
大数据学习笔记06：伪分布式Hadoop
howard2005的专栏
01-06 620
文章目录一、Hadoop生态系统二、Hadoop安装模式1、单机模式2、伪分布式模式3、完全分布式模式三、伪分布式安装Hadoop1、启动虚拟机tiger2、利用SecureCRT登录虚拟机3、配置免密登录（1）执行ssh-keygen命令生成密钥对（2）将生成的公钥发送到本机（3）验证虚拟机是否能免密登录自己4、下载Hadoop5、将Hadoop压缩包上传到虚拟机6、解压Hadoop压缩包7、进...
大数据讲课笔记2.3 初探Hadoop世界
howard2005的专栏
10-04 836
1. 了解Hadoop的发展历史； 2. 了解Hadoop的版本情况； 3. 掌握Hadoop的生态体系
大数据项目实践：基于hadoop+spark+mongodb+mysql开发医院临床知识库系统
dotNET跨平台
08-22 2221
本文是一个.NET解决方案中结合大数据的需求，实践之后所写，所以总觉得东西都比较简单，我只期望本文能达到抛转引用的作用，能对同行做相关工作的朋友们有所参考，思路可以得到借鉴。
Hadoop+MongoDB的四种方案
五哥的酒馆
12-07 653
&#13; 背景：&#13; 公司核心业务库现存在MongoDB中，分布在6台MongoDB节点。现面临如下问题：&#13; 1.最大的一张表有10多个G,MongoDB在查询方面尚能胜任，但是涉及到复杂计算时会比较吃力。&#13; 2.MongoDB中有三张表，分别记录了最终用户在三个不同系统(电话，游戏，桌牌等)的行为，需要按用户汇聚成一张表。&#13; 考虑到Mongo...
MongoDB与Hadoop技术栈的整合应用
Tony_老七
06-12 8487
如何在Hadoop技术栈之上，构建基于NoSQL数据库MongoDB的数据应用.
Hadoop之MongoDB（安装、配置、数据库操作）
qq494370的博客
04-14 1937
MongoDB数据库 1. 理论知识 （1）数据库分类 数据库主要分成两种： 关系型数据库 MySQL、Oracle、DB2、SQL Server …… 关系数据库中全都是表 非关系型数据库 MongoDB、Redis …… 键值对数据库 文档数据库MongoDB （2）MongoDB简介 MongoDB是为快速开发互联网Web应用 而设计的数据库系统。 MongoDB的设计目标是极简、灵活、作为...
Hadoop学习笔记
12-20
【Hadoop学习笔记】 Hadoop 是一个开源框架，主要用于处理和存储大数据。它源自于解决互联网公司面临的海量数据处理问题，特别是Google发布的三篇技术论文，即GFS（Google File System）、MapReduce以及BigTable。...
笔记：分布式大数据技术原理（一）Hadoop 框架
WeeeicheN 的博客
07-20 1240
前言-从 Hadoop 说起 什么是 Hadoop Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型，实现跨计算机集群的大型数据集的分布式处理。它最初的设计目的是为了检测和处理应用程序层的故障，从单个机器扩展到数千台机器（这些机器可以是廉价的），每个机器提供本地计算和存储，而不是依靠硬件提供高可用性。 Hadoop 中有3个核心组件： 分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上 分布式运算编程框架：MapReduce —— 实现在很多机器上...
mongo-hadoop：适用于HadoopMongoDB连接器
02-28
MongoDB Hadoop连接器 目的 用于HadoopMongoDB连接器是一个库，该库允许将MongoDB（或数据格式为BSON的备份文件）用作Hadoop MapReduce任务的输入源或输出目标。 它旨在提供更大的灵活性和性能，并使MongoDB中的数据与Hadoop生态系统的其他部分轻松集成，包括以下内容： 请查看页面以获取最新的稳定发行版。 特征 可以创建数据拆分以读取独立配置，副本集或分片配置 可以使用MongoDB查询语言通过查询过滤源数据 支持Hadoop流，以允许以任何语言（当前支持python，ruby，nodejs）编写作业代码 可以从S3，HDFS或本地文件系统上驻留的MongoDB备份文件中读取数据 可以以.bson格式写出数据，然后可以使用mongorestore将其导入任何MongoDB数据库 与和等其他Hadoop工具中的BSON / MongoDB文档
Hadoop和MongoDB的区别
很酷的站长的博客
12-27 1082
Apache Hadoop是一个开源的Java平台。它管理数据密集型应用程序的处理和存储需求。Hadoop平台必须首先在计算机集群的节点之间分配大数据和分析作业。然后将这些任务分成可以同时完成的合理工作负载。Hadoop可以处理结构化和非结构化数据，并在不牺牲可靠性的情况下从一台服务器扩展到数千台服务器。基于Hadoop的程序运行在具有大量数据收集的商品机器集群上。这些机器以更低的成本提供更多的处理能力。Hadoop使用称为Hadoop分布式文件系统（HDFS）的分布式文件系统来存储其数据。
Hadoop与MongoDB的区别是什么？底层原理是什么？
最新发布
长风破浪会有时的博客
05-09 462
在底层原理方面，Hadoop采用了分布式存储和计算的架构，数据被划分成多个块，并存储在不同的计算节点上。MongoDB的设计目的是为了处理半结构化和非结构化数据，并且具有高度的灵活性和可扩展性。Hadoop采用了分布式存储和计算的架构，将数据分成多个块，存储在不同的计算节点上，并通过MapReduce算法来处理和计算这些数据。Hadoop适用于需要处理大规模结构化和半结构化数据的场景，而MongoDB适用于需要快速读写非结构化数据和需要高度可扩展性的场景。
Spring hadoop之一 mongodb与hadoop的整合使用
小小八卦姐的专栏
11-19 4198
在上一章节 我们讲到了hbase的使用回顾， 这一章我们将一下同样是nosql的另一分支 mongodb 基于文档型数据库 mongodb的基本使用  下面是一张与oracle mysql这种关系型数据库的对比 基本操作 crud db.users.insert( { user_id: "abc123", age: 55, status: "A" } ) d
MongoDB + Hadoop解决方案
Michael's Blog
08-29 902
MongoDB概述Hadoop概述MongoDB ＋ Hadoop解决方案对比实时导入MongoDB数据到Hadoop的解决方案解决方案思路：实时读取MongoDB Replica Set Oplog到Apache HBase
数据分析 起步 (一) MongoDB+Hadoop
阿东的学习历程
09-28 1638
上个月看到一个学长在做斗鱼弹幕分析的开源项目 ,正好之前的计划已经完成了大半 ,所以决定借此机会学习一波爬虫和数据分析. 后面学长忙其他事去了 ,我也就开了一个新坑 ,从抓取分析B站的数据开始 :）项目地址:bilibili-analysis-data准备爬虫说到爬虫 ,就会想到Python ,边学边写我就直接上手了 .因为之前有接触过scala ,最近工作中也会写很多js (前端还很菜) ,所以语
Mongodb数据导入集群hive数仓
June_de_love的博客
07-13 2038
Mongodb数据导入集群数仓的方式
实现MongoDB与Hadoop的连接
Camu7s的专栏
02-05 2135
去年先后学习了MongoDB与Hadoop，后来因为需要，研究了下如何实现Hadoop与MongoDB的连接，即使用Hadoop从MongoDB中读取数据，处理得到想要的数据后再写入MongoDB中。当时由于对MapReduce编程还不是很熟悉，因此还是花了几天时间。后来完整地看了下MapReduce编程，才明白其实只要定义好自己的输入输出格式类，是可以实现从任何数据库（只要有相应的Java AP
MongoDB与Hadoop结合之使用MapReduce官方实例
尘土的博客
09-14 4101
Hadoop 是一个开源的分布式的并行计算系统，其Map/Reduce 运算功能被广泛地应用在数据分析领域。mongo-hadoop 是一个将MongoDB 与Hadoop 相整合的开源工具。
Java学习资源大合集：源码、笔记与面试资料
资源摘要信息:"Java课堂笔记、代码、java核心知识点梳理、java笔试面试资料.zip" 这份资源是一个集合了众多技术项目的压缩包，它覆盖了从基础的编程语言到前沿技术领域的丰富内容，为不同技术层次的学习者提供了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值