- 博客(39)
- 资源 (4)
- 收藏
- 关注
RSS订阅
原创 idea scala spark 开发环境搭建
1、安装jdk1.8、IDEAjdk和IDAE安装请自行百度2、安装scala下载地址：https://www.scala-lang.org/download/2.11.12.html下载解压到D:\jdk\scala-2.11.12，并配置环境变量SCALA_HOME，在path下追加%SCALA_HOME%\bin3、spark环境安装下载地址：ht...
2019-07-09 16:56:18
3959
原创 Centos7 Ambari搭建大数据平台
目录1.配置静态IP、DNS2.配置hostname/hosts3.关闭防火墙与SElinux4.SSH无密码登陆5.修改YUM源6.JDK1.87.NTP时间同步8.安装HTTP服务器（后期要用的）9.安装mysql10.制作本地源 (在hdp1部署)11.安装Ambari (在hdp1部署)12.使用Ambari界面安装Hadoop、spa...
2019-06-27 09:10:34
2235
1
原创 Pycharm安装PyQt5 & 使用pyinstaller将Python脚本导出为exe程序
pycharm版本为：安装PyQt5-tools在终端执行pip命令安装完PyQt5-tools。pip install PyQt5-tools配置PyCharmfile---settings---External Tools---点➕，添加两项内容1. Qt Designer Name Qt Designer ...
2019-10-22 16:45:38
918
原创 java操作hive
my.properties配置文件# hivehive_driverClassName=org.apache.hive.jdbc.HiveDriverhive_url=jdbc:hive2://192.168.10.154:10000hive_user=roothive_password=123456# hive中数据库名称hive_jichuku=jichuku配置文件读取...
2019-07-12 14:30:06
304
原创 scala操作hdfs文件
基本工具类：package com.bdsoft.utilsimport java.net.URIimport org.apache.hadoop.conf.Configurationimport org.apache.hadoop.fs.FileSystemobject BaseUtil { private var hdfs: FileSystem = _ d...
2019-07-11 14:22:11
4271
原创 scala操作mysql数据库
Mysql工具类：package com.bdsoft.utilsimport java.sql.{Connection, DriverManager, ResultSet}import com.bdsoft.utils.BaseUtil.loadPropertiesimport scala.collection.mutableimport scala.collection.mut...
2019-07-11 13:53:15
1018
原创 ambari进入hive2 view 2.0报错 java.io.FileNotFoundException: File does not exist: /user/admin
java.io.FileNotFoundException: File does not exist: /user/admin at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(Nat...
2019-07-04 09:55:34
1251
原创 使用kettle同步数据到hive
1. 在kettle中设置hive相关配置首先在Hive的安装目录里（/usr/hdp/2.6.4.0-91/hive2/jdbc）找到Hive的jdbc的jar文件，复制这个jar文件到Kettle的lib目录下（D:\data-integration\lib），重启Kettle。修改plugin.properties文件（D:\data-integration\plug...
2019-07-03 16:27:30
7732
1
原创 设置ISO镜像文件为Linux(CentOS)系统本地Yum源
1. 首先请确保ISO镜像文件已正确连接，创建文件夹 “mkdir /mnt/cdrom”2. ls /dev3. “mount -t iso9660 /dev/cdrom /mnt/cdrom”将光驱或ISO文件挂载到/mnt/cdrom目录。4. “ls /mnt/cdrom”或者“df”查看是否挂载成功。"ls /etc/yum.repos.d/"查看5. 修...
2019-07-02 17:34:17
953
原创 Elasticsearch集群搭建
创建ES用户和组因为使用root用户执行ES程序，将会出现错误，命令如下#使用root用户groupadd elsearchuseradd elsearch -g elsearchchown -R elsearch:elsearch elasticsearch-6.3.2 #该命令是更改该文件夹下所属的用户组的权限创建ES数据文件和日志文件这个要和下一步配置的里面...
2019-07-01 14:19:59
371
原创 sqoop基本操作
1、显示数据库sqoop list-databases \--connect jdbc:mysql://192.168.10.151:3306 \--username root \--password 1234562、显示某数据库下的表sqoop list-tables \--connect jdbc:mysql://192.168.10.151:3306/test \-...
2019-06-28 16:50:19
803
原创 ambari集群卸载
# 删除组件yum remove -y hive*yum remove -y hdfs*yum remove -y yarn*yum remove -y mapreduce2*yum remove -y tez*yum remove -y hbase*yum remove -y pig*yum remove -y sqoop*yum remove -y oozie*yum r...
2019-06-27 09:17:43
1930
转载 三 线程Executor框架
Executor框架是指java 5中引入的一系列并发库中与executor相关的一些功能类，其中包括线程池，Executor，Executors，ExecutorService，CompletionService，Future，Callable等。他们的关系为： 并发编程的一种编程方式是把任务拆分为一系列的小任务，即Runnable，然后在提交给一个Executor执行，Ex
2017-12-05 10:55:25
227
原创 二 线程的状态
线程从创建到最终的消亡，要经历若干个状态。一般来说，线程包括以下这几个状态：创建(new)就绪(runnable)运行(running)阻塞(blocked)、主动睡眠(time waiting)、主动等待(waiting)消亡(dead)new: 当需要新起一个线程来执行某个子任务时，就创建(new)了一个线程。new->runnable : 但是线程创建之后，不
2017-12-01 17:17:10
208
原创 一 线程的创建
线程创建的三种方式： 继承Thread类、实现Runnable接口、实现ThreadFactory接口1. 继承Thread类public class MyThread extends Thread { @Override public void run() { for (int i = 0; i < 10; i++) { S
2017-12-01 16:36:16
236
转载 windows查看端口占用以及关闭相应的进程
转自：https://www.cnblogs.com/moodlxs/p/4145384.html开始--运行--cmd 进入命令提示符 输入netstat -ano 即可看到所有连接的PID 之后在任务管理器中找到这个PID所对应的程序如果任务管理器中没有PID这一项,可以在任务管理器中选"查看"-"选择列" 经常，我们在启动应用的时候发现系统需要的端口被别的程序
2017-11-16 15:09:23
242
转载 authorization BASIC
转自：http://blog.csdn.net/haimiloveatu/article/details/25061641一． BASIC认证概述在HTTP协议进行通信的过程中，HTTP协议定义了基本认证过程以允许HTTP服务器对WEB浏览器进行用户身份证的方法，当一个客户端向HTTP服务 器进行数据请求时，如果客户端未被认证，则HTTP服务器将通过基本认证过程对客户端的用户名及密
2017-11-01 10:50:09
10020
1
原创 测试内存溢出
1. java堆溢出-Xms20m -Xmx20m 限制java堆的大小为20MB，不可扩展（将堆的最小值参数-Xms参数与最大值参数-Xmx设置为一样即可避免堆自动扩展）-XX:+HeapDumpOnOutOfMemoryError 可以让虚拟机在内存溢出时Dump出当前的内存堆转储快照以便时候进行分析。/** * VM Args: -Xms20m -Xmx20m -XX:+H
2017-10-31 09:09:00
886
转载 Java技术——你真的了解String类的intern()方法吗
转自：http://blog.csdn.net/seu_calvin/article/details/522910820.引言什么都先不说，先看下面这个引入的例子：[java] view plain copy String str1 = new String("SEU")+ new String("Calvin"); System.out.pr
2017-10-27 16:22:17
160
原创 mysql 事务处理
1. 查看表使用的数据库引擎看某个表使用的引擎，在显示结果里参数engine后面的就表示该表当前用的存储引擎:mysql> show create table 表名;看mysql支持哪些存储引擎:mysql> show engines;看mysql当前默认的存储引擎:mysql> show variables like '%storage_engin
2017-10-27 09:31:13
420
原创 mysql 存储过程、游标及逐行处理的配合使用
1. 数据准备+----+------+--------+| id | name | price1 |+----+------+--------+| 1 | 大米 | 5 || 2 | 鸡蛋 | 4.5 || 3 | 苹果 | 6 || 4 | 面粉 | 4 || 5 | 小米 | 5.5 |+----+------+--
2017-10-26 16:35:16
2129
原创 mysql存储过程小例
表数据：+----+------+--------+--------+| id | name | price1 | price2 |+----+------+--------+--------+| 1 | 大米 | 5 | 3 || 2 | 鸡蛋 | 4.5 | 4.3 || 3 | 苹果 | 6 | 4 || 4 | 面
2017-10-26 14:50:48
201
转载 MySql免安装版安装配置，附MySQL服务无法启动解决方案
转自：http://www.cnblogs.com/cenwei/p/6249856.html文首提要： 我下载的MySQL版本是：mysql-5.7.17-winx64.zip Archive版；系统：Windows7 64位。 一、解压文件 下载好MySQL后，解压到D盘下，也可以根据个人喜好解压在其他盘
2017-10-26 10:26:11
367
转载 创建型模式：【抽象工厂模式】
抽象工厂模式抽象工厂模式（Abstract Factory Pattern）是围绕一个超级工厂创建其他工厂。该超级工厂又称为其他工厂的工厂。这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式。在抽象工厂模式中，接口是负责创建一个相关对象的工厂，不需要显式指定它们的类。每个生成的工厂都能按照工厂模式提供对象。介绍意图：提供一个创建一系列相关或相互依赖对象的接口，而无
2017-08-28 15:51:39
262
转载 创建型模式：【工厂模式】
工厂模式工厂模式（Factory Pattern）是 Java 中最常用的设计模式之一。这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式。在工厂模式中，我们在创建对象时不会对客户端暴露创建逻辑，并且是通过使用一个共同的接口来指向新创建的对象。介绍意图：定义一个创建对象的接口，让其子类自己决定实例化哪一个工厂类，工厂模式使其创建过程延迟到子类进行。主要解决：主要解
2017-08-28 14:35:37
193
转载 创建型模式：【单例模式】
单例模式单例模式（Singleton Pattern）是 Java 中最简单的设计模式之一。这种类型的设计模式属于创建型模式，它提供了一种创建对象的最佳方式。这种模式涉及到一个单一的类，该类负责创建自己的对象，同时确保只有单个对象被创建。这个类提供了一种访问其唯一的对象的方式，可以直接访问，不需要实例化该类的对象。注意：1、单例类只能有一个实例。2、单例类必须自己创建自己的唯一
2017-08-28 14:12:50
385
转载 序列化和反序列化的简单理解
一、序列化和反序列化的概念把对象转换为字节序列的过程称为对象的序列化；把字节序列恢复为对象的过程称为对象的反序列化。对象的序列化主要有两种用途：1） 把对象的字节序列永久地保存到硬盘上，通常存放在一个文件中；2） 在网络上传送对象的字节序列。在很多应用中，需要对某些对象进行序列化，让它们离开内存空间，入住物理硬盘，以便长期保存。比如最
2017-08-24 21:47:42
341
原创 JavaScript中new语句
Javascript是世界上第一个被大量使用的支持Lambda函数的语言，本质上属于与Lisp同类的函数式编程语言。但是当前世界，90%以上的程序员都是使用面向对象编程。为了靠近主流，Javascript做出了妥协，采纳了类的概念，允许根据类生成对象。类是这样定义的： var Cat = function (name) { this.name = name; this.s
2017-08-21 14:59:47
616
转载 彻底理解JavaScript原型
原型是JavaScript中一个比较难理解的概念，原型相关的属性也比较多，对象有"[[prototype]]"属性，函数对象有"prototype"属性，原型对象有"constructor"属性。为了弄清原型，以及原型相关的这些属性关系，就有了这篇文章。相信通过这篇文章一定能够清楚的认识到原型，现在就开始原型之旅吧。认识原型开始原型的介绍之前，首先来认识一下什么是原型？在jav
2017-08-21 10:20:10
327
原创 【JavaScript语言精粹】读书笔记（三）——函数
所有的过失在未犯以前，都已定下应处的惩罚。——威廉·莎士比亚，《一报还一报（Measure for Measure）》JavaScript中最好的特性就是它对函数的实现。函数包含一组语句。它们是JavaScript的基础模块单元，用于代码复用、信息隐藏和组合调用。函数用于指定对象的行为。一般来说，所谓编程就是将一组需求分解成一组函数与数据结构的技能。1. 函数对象在Ja
2017-08-15 08:55:53
493
原创 【JavaScript语言精粹】读书笔记（二）——对象
对于丑陋的事物，爱会闭目无视。 ——威廉·莎士比亚，《维洛那二绅士（The Two Gentlemen of Verona）》JavaScript的简单类型包含数字、字符串。布尔值、null值和undefined值。其他所有的值都是对象。数字、字符串和布尔值“貌似”对象，因为它们拥有方法，但它们是不可变的。JavaScript中的对象是可变的键控集合（keyed collect
2017-08-11 12:35:02
368
原创 【JavaScript语言精粹】读书笔记（一）——语法
1. 语法标识符：由一个字母开头，后面选择性的添加一个或多个字母、数字、下划线。不能使用一下保留字：abstractboolean break bytecase catch char class const continuedebugger default delete do doubleelse enum export extendsfalse final fin
2017-08-11 09:34:06
203
原创 a标签实现文件下载（ie8可用）
背景：项目中大量使用a标签href属性直接写文件资源路径，在火狐浏览器上可以直接使用，但是在ie8下则在浏览器直接打开，显示为乱码，为尽量减少修改，写以下代码。js代码/** * 在页面中引入该js文件：<%=PathUtil.jsLink("com.bop.web.fgwwjcommon", "/common/js/ie8-download-plug.js")%&g...
2017-08-10 09:56:46
14760
1
转载 Eclipse中maven项目没法自动编译、编译失败、WEB-INF/classes目录中没有Class文件
Eclipse中maven项目没法自动编译、编译失败、WEB-INF/classes目录中没有Class文件刚就是第4中情况导致的，已经解决了！
2017-08-04 14:10:05
869
转载 Hibernate中Criteria的完整用法
Hibernate 设计了 CriteriaSpecification 作为 Criteria 的父接口，下面提供了 Criteria和DetachedCriteria 。
2017-08-03 14:06:38
198
hadoop2.7.6插件.zip
2019-07-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人