海鸥传奇的专栏

原创 解决plsql解决中文乱码问题

适用kettle从myslq抽取数据到oracle的乱码

原创 在window中将mongo设置为系统服务项

1.找到路径 C:\Windows\System322.执行cmd.exe，右键使用管理员打开3.切换到D盘 d:4.切换到mongo的bin路径下 cd D:\Program Files\MongoDB\Server\3.6\bin5.执行看看服务是否可以启动成功 mongod -dbpath "D:\Program Files\MongoDB\Server\3.6\data\db" -logpath "D:\Program Files\MongoDB\Server\3.6...

原创 Data Types in the mongo Shell

On this pageTypes Check Types in themongoShellMongoDBBSONprovides support for additional data types thanJSON.Driversprovide native support for these data types in host languages and themon...

原创 Access the mongo Shell Help

Access themongoShell HelpOn this pageCommand Line Help Shell Help Database Help Collection Help Cursor Help Wrapper Object HelpIn addition to the documentation in theMongoDB Manual, them...

原创 The mongo Shell

ThemongoShellOn this pageStart themongoShell and Connect to MongoDB Working with themongoShell Tab Completion and Other Keyboard Shortcuts .mongorc.jsFile Exit the ShellThemongoshell...

转载 spring事务接口

转载 spring事务管理`

转载 SPRING系列教材 （六）- 注解方式测试

步骤1:先运行，看到效果，再学习 步骤2:模仿和排错 步骤3:效果 步骤4:jar 步骤5:导入到当前项目中 步骤6:TestSpring 步骤1:先运行，看到效果，再学习顶折老规矩，先下载右上角的可运行项目，配置运行起来，确认可用之后，再学习做了哪些步骤以达到这样的效果。步骤2:...

转载 SPRING系列教材 （五）- 注解方式 AOP

步骤1:先运行，看到效果，再学习 步骤2:模仿和排错 步骤3:注解配置业务类 步骤4:注解配置切面 步骤5:applicationContext.xml 步骤6:运行测试 步骤1:先运行，看到效果，再学习顶折老规矩，先下载右上角的可运行项目，配置运行起来，确认可用之后，再学习做了哪些步骤以达到...

转载 SPRING系列教材 （四）- AOP 面向切面编程

AOP 即 Aspect Oriented Program 面向切面编程首先，在面向切面编程的思想里面，把功能分为核心业务功能，和周边功能。所谓的核心业务，比如登陆，增加数据，删除数据都叫核心业务所谓的周边功能，比如性能统计，日志，事务管理等等周边功能在Spring的面向切面编程AOP思想里，即被定义为切面在面向切面编程AOP的思想里面，核心业务功能和切面功能分别独立进行开发...

转载 SPRING系列教材 （三）- 注解方式 IOC/DI

在本知识点中，将演示如何使用注解的方式完成注入对象中的效果步骤1:先运行，看到效果，再学习 步骤2:模仿和排错 步骤3:修改applicationContext.xml 步骤4:@Autowired 步骤5:运行测试 步骤6:@Autowired的位置 步骤7:@Resource 步骤8:对Bea...

转载 SPRING系列教材 （二）- 注入对象

在上例中，对Category的name属性注入了"category 1"字符串在本例中 ，对Product对象，注入一个Category对象步骤1:先运行，看到效果，再学习 步骤2:模仿和排错 步骤3:Product.java 步骤4:applicationContext.xml 步骤5:TestSpring 步...

转载 SPRING系列教材 （一）- 教程

Spring是一个基于IOC和AOP的结构J2EE系统的框架IOC 反转控制 是Spring的基础，Inversion Of Control简单说就是创建对象由以前的程序员自己new 构造方法来调用，变成了交由Spring创建对象DI 依赖注入 Dependency Inject. 简单地说就是拿到的对象的属性，已经被注入好相关值了，直接使用即可。必读：基于框架的程序要成功运行，...

原创 hadoop之mapreduce完成对用户访问网站日期统计

1.数据文件 user_webAccess.txt 格式如下：jim,2019-09-12tom,2019-03-03ross,2019-05-06pis,2019-12-08oax,2019-11-05jim,2019-09-13tom,2019-03-04ross,2019-05-07pis,2019-12-09oax,2019-11-06jima,2019-09...

原创 hadoop的mapreduce对单词统计的代码编写

/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regard...

转载 hadoop之首个mapreduce api 程序开发

原创 hadoop之运行首个hdfs api 程序任务

1.是ftp工具，将email_log.txt文件上传到centos服务器的/opt目录中2.使用命令 hadoop fs -mkdir /park02 在hdfs中创建/park02文件夹，如果有的话，就不需要创建3.使用命令 hadoop fs -put /opt/email_log.txt /park02 上传email_log.txt文件到/park02中4.查看hdfs中是否...

原创 Edits和Fsimage文件

知识点通过：hdfs oev -i edits_inprogress_0000000000000000003 -o bbb.xml 查看edits_inprogress_0000000000000000003文件的内容，把内容输出到bbb.xml中，vim bbb.xml即可查看内容1.当执行格式化指令时，会在指定的tmp目录下，生成/dfs/name目录（此目录在不设定dfs.n...

原创 hadoop之hdfs垃圾回收

在core-site.xml 配置文件中配置<!--开启垃圾回收机制，周期时间是分钟，如果是0，表示未开启trash机制--><property><name>fs.trash.interval</name><value>1440</value></property>配置好，不需要重启hdf...

转载 hadoop 元数据知识点及查看元数据信息

可以使用如下代码查看nameNode的元数据信息hadoop fsck /park01/README.txt -files -blocks -locations信息如下：FSCK started by root (auth:SIMPLE) from /10.211.55.6 for path /park01/README.txt at Fri May 23 09:00:19 ...

转载 hadoop之eclipse开发时对文件或者文件夹操作刷新没有反应或者提示权限不足

在windows下使用eclipse远程上传至linux下的hdfs文件系统报错：org.apache.hadoop.security.AccessControlException:org.apache.hadoop.security.AccessControlException:Permission denied: user=cmaster, access=WRITE,inode="":...

转载 centos安装hadoop2.6.4之一台服务器变成多台服务器配置步骤

1.检查各虚拟机的环境变量(每台服务器都要检查) /etc/profile 并运行 source /etc/profile 配置HADOOP_HOME 和 PATH 配置上hadoop下的sbin 和bin目录2.检查防火墙是否关闭(每台服务器都要检查) 务必关闭防火墙systemctl status firewalld //查看状态 ...

转载 hadoop异常之关于 WARN conf.Configuration: bad conf file: element not property

在启动hadoop或者用到hadoop相关应用时出现:出现这个的原因是某个配置文件缺少 < property > < /property >;可以检查在安装hadoop修改过得 *-site.xml 文件。笔者是yarn-site.xml里面缺少< property > < /property >添加后该WARN消失。...

转载 在eclipse中配置hdfs和mapreduce开发环境并新建hadoop项目，运行第一个hdfs api项目

在eclipse中配置mapreduce开发环境 （1）将hadoop-eclipse-plugin-2.6.4.jar复制到eclipse安装目录的plugins目录下(如果不成功复制到dropins中)，之后启动eclipse 。此时从eclipse界面的左侧“Project Explorer”视图中，下面发现“DFS Locations”，说明Eclipse已经识别刚才放入的Had...

转载 eclipse开发hadoop 插件安装

我之前按照网上的教程，将hadoop-eclipse-plugin-2.6.4.jar放在Eclipse的plugins下，点击Windows-Preference后，并没有Hadoop MapReduce这一项。后面发现如果将hadoop-eclipse-plugin-2.6.0.jar放在Eclipse的dropins下，然后点击Windows-Preference后，就会出现Hadoop M...

转载 hadoop之常见命令

hadoop fs -tail /park01/1.txt 查看文件结尾内容hadoop的数据存储在hdfs-site.xml文件中配置的dfs.datanode.data.dir 的值例如在如下：/data/hadoop/hdfs/data/current/BP-1482353373-10.211.55.6-1559728004904/current/fina...

原创 centos之hadoop的HDFS监控界面http://master:50070

overView1.overview 记录了nameNode的启动时间，版本好，编译版本灯一些基本信息2.summary是集群信息，提供了当前集群环境的一些有用信息3.nameNode storage 提供了nameNode的信息。Utilities==>browse the file system通过 http://master:50070/dfshealth...

转载 centos 配置ntp时间同步服务

在安装前注意先检查是否关闭防火墙 务必关闭防火墙systemctl status firewalld //查看状态 开机禁用 ： systemctl disable firewalld 关闭： systemctl stop firewalld）1.master上安装ntp组件yum -y install ntp2.master上调...

原创 centos 安装hadoop2.6.4步骤

1.把hadoop-2.6.4.tar.gz 上传到/opt目录中2.在centos中切换到/opt目录中3.执行解压缩操作tar -zxf hadoop-2.6.4.tar.gz -C /usr/local4.修改 主机名（根据上边hadoop的需要 主节点主机名是：master）,修改完以后需要重启服务器！vim /etc/sysconfig/network...

转载 Hadoop之——重新格式化HDFS的方案

了解Hadoop的同学都知道，Hadoop有两个核心的组成部分，一个是HDFS，另一个则是MapReduce，HDFS作为Hadoop的数据存储方案，MapReduce则提供计算服务；同时，HDFS作为一种分布式文件系统，它的安装也是需要相应的格式化操作的，如果安装失败或者我们需要重新安装的时候，那我们就需要对HDFS重新进行格式化，这篇文章就和大家一起讨论下如何进行HDFS的重新格式化。重新格...

转载 hadoop之google机架

转载 hadoop之分布式文件系统介绍

nameNode::::引入zookeeper 主要是因为当namenode挂掉的时候，要有个要知道。使用zookeeper知道。在zookeeper中建立临时节点...

转载 hadoop之简单构架图

转载 hadoop之国内应用情况

转载 hadoop之架构

原创 hadoop历史

转载 centos之sort命令

原创 centos之grep命令

转载 centos之find命令

原创 hadoop开发步骤

1.安装vmware 虚拟机2.安装centos73.配置网络 nmtui4.三个ping5.安装并使用 xshell,xftp6.设置静态IP7.三个ping 还可以进行 ip a 看一下有没有IP，还可以通过xshell8.免密码登录9.使用yum 安装vim10.安装jdk（window，linux）注意修改环境变量 /etc/profile文件增加 ,修改后别忘...