yiran9741-CSDN博客

原创 Servlet学习二

昨天学习了Servlet的一些知识。将这些知识串起来写了一个小代码，加深映象。1.题目要求如下：在web.xml文件中设置两个WEB应用的初始化参数，user,password。定义一个login.html,里面定义两个请求字段：user,password.发送请求到loginServlet。在创建一个LoginServlet,在其中获取请求的user,password。比对其和web.xml文

2016-12-20 10:57:54 255

原创 Servlet 学习

在学习Servlet时，Servlet接口有五个方法，所有的Servlet都会实现这些接口。 destroy() public ServletConfig getServletConfig() public String getServletInfo() init(ServletConfig servletConfig) service(ServletRequest arg0, Serv

2016-12-19 21:58:57 200

原创 Java IO学习

IO读取文件可以通过字符流（char）和字节流（byte）两种方式。有InputStream、OutputStream、Reader、Writer。前两者是通过字节流进行读取的，后两者是通过字符流进行读取的。以文件操作为例，主要的操作流程如下：A、使用File类打开一个文件 B、通过字节流或者字符流的子类，指定输出的位置 C、进行读写操作 D、关闭输入输出1、输出流 Writer类可以直接

2016-12-19 21:22:58 190

原创 mySql学习（2）

JDBC2.0中结果集的功能提升：可滚动、可插入、可修改、可删除。在进行这些操作的时候，发现出现了一些错误。是因为数据库在创建表的时候，没有在表中建立主键。一、MySQL 1、修改主键：alter table student drop primary key,add primary key(id);2、添加唯一键alter table student add unique(userid)二、

2016-12-16 09:37:32 224

原创 MySQL学习笔记

一、在Java工程中连接MySQL数据库package com.connectDemo.yr;import java.sql.Connection;import java.sql.DriverManager;import java.sql.SQLException;public class connectTestDemo { //定义MySQL的数据库驱动程序 public

2016-12-12 21:52:59 193

原创 hadoop 2.6.5 HA 分布式搭建

Ha模式是有两个namenode,一个NN（active），一个NN（standby）,这样一个active的NN发生故障时standby的NN就可以转成active。首先要搭建zookeeper。将zookeeper的安装位置写在~/.bashrc 修改配置文件zoo.cfg 如下：# The number of milliseconds of each ticktickTim

2016-11-29 21:30:22 317

原创启动Hadoop时，出现错误：Unable to load native-hadoop library for your platform

今天启动Hadoop时，发现以下问题:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable网上搜索是说安装的hadoop-2.6.5是在32位的机子上编译的，但是现在运行在64位的机子上，所以出现

2016-11-02 20:44:40 1289

原创 hive搭建中的问题

终于搭建好了，纠结了一天！好开心。特此记录自己的心酸过程。准备： Hadoop-2.6.5 Jdk1.8.0-101 hive-2.1.0 mysql 一、安装mysql apt-get install mysqlserve mysqlclent mysql -uroot -p1234 (-u:用户名，-p:密码，-h:主机) mysql>create database hi

2016-11-01 22:02:28 1075 1

原创在IDEA中开发代码，并运行在Spark集群中的问题

在IDEA中编写scala代码及编译。这里就不详细赘述了。1、spark-submit提交时，总是发现加载失败！有一个问题是在每个主机的spark-env.sh这个配置文件中SPARK_MASTER_IP=Master,不能是直接的IP地址。这里改好我的程序就没问题了。 2、详细的说明见：https://my.oschina.net/cjun/blog/509247 如下：最后运行

2016-10-24 19:37:26 406

原创虚拟机怎么将屏幕放大？

在使用lunix的虚拟机，发现屏幕太小，很多的软件下面的按钮都看不到。所以有很多不方便。琢磨很久，最终知道安装VMwareTools可以调整。接下来是调整的步骤： 1、关闭虚拟机，编辑虚拟机配置。将光盘修改为使用物理CD光驱。重新启动虚拟机。如图：（这步很重要！之前就是这步没有设置，导致一直不成功！） 2、加载VMwareTools镜像 3、找到VMwareTools的安装包，拷到

2016-10-23 21:35:29 38038

原创 Spark集群搭建及测试中的问题

hadoop成功搭建成功了，在这上面继续搭建spark。在这里交代一下我的每个安装包的版本。Java是1.8.0，Hadoop是1.2.1，spark是1.3.0，scala是2.10.4。将scala，spark等环境都写入了~/.bashrc中去。在安装配置Spark应注意以下： 1、在master、slave1、slave2中的spark-env.sh的SPARK_MASTER-IP

2016-10-22 15:57:46 542

原创 hadoop集群启动后没有启动namenode

今天重新启动Hadoop，发现namenode节点没有启动。（昨天好不容易将没有出现的datanode启动来。）最后学习后是因为namenode默认在/tmp下建立临时文件，但关机后，/tmp下文档自动删除。再次启动Master造成文件不匹配，所以namenode启动失败。在core-site.xml中指定临时文件位置，然后重新格式化。 hadoop.tmp.dir /usr/grid/

2016-10-21 10:06:22 3100

原创 Hadoop搭建过程中的问题

作为一个liunx的菜鸟，搭建Hadoop集群过程中遇到了很多的问题！为了以后的学习的方便，我将记下搭建的主要步骤及遇到的问题和问题的解决方法！在这次搭建的过程中，我为了简化权限问题，将直接用Root用户的身份登录，但是Ubuntu在默认的情况下并没有开启Root用户，所以需要做以下的设置：一.开启Root用户 sudo -s vim /etc/lightdm/lightdm.conf

2016-10-20 22:04:24 284

yiran9741的博客