haijiege-CSDN博客

原创在Windows平台下搭建Spark开发环境（Intellij IDEA）

1. 在Windows平台下搭建Spark开发环境（Intellij IDEA+Maven）1.1 集成开发环境IDE为了方便应用程序开发与测试，提高开发效率，一般使用集成开发工具IDE。同样，为了方便Spark应用程序编写和测试，可以选择集成开发工具Intellij IDEA或Eclipse。由于Intellij IDEA对Scala更好的支持，大多Spark开发团队选择了Intellij I...

2018-06-22 18:56:02 17285 5

原创 spark-submit 错误：ClassNotFoundException：WordCount

在IDEA中运行WordCount成功打包后使用命令：./spark-submit --class WordCount /home/hadoop/WordCount/out/artifacts/WordCount_jar/WordCount.jar运行后报错：查了好久发现可能跟package name有关，于是尝试下面的提交方式：./spark-submit --class scala.dblab...

2018-06-22 11:19:48 10548

翻译 idea的使用

1. Intellij IDEA常用快捷键下面的快捷键，最好自己试一下，这样的话就能明白它到底是干什么用的，语言描述可能不到位快捷鍵用法描述 Ctrl+Shift+A 根据名称查找操作，例如查找创建scala class操作 Alt+F1 视图切换 Ctrl+Tab 工具窗口、正在编辑的代码文件切换 Alt+Home 显示导航条 Ctrl+J 插入代码模板，例如main方法 Ct...

2018-06-15 15:26:20 465

转载 ntellij IDEA:当右键运行时出现了Run Scala console，而没有run操作的原因

本人刚开始接触Scala语言，想搭建一个IDE开发环境，所有的操作都是按照网上的做的，但是就是没找到运行的地方在哪里，如图：朋友告诉我，我的文件建错了，应该建一个object而不是建一个class写入相应的代码后，右键，你会神奇的发现，有run了，本人刚学Scala，不要喷，也希望帮助到像我一样刚入门的人。输出为：[plain] view plain copy....../Users/eric/D...

2018-06-15 14:35:27 3681 2

转载 IntelliJ IDEA 中右键新建（new）时，选项没有scala(java) class的解决方法和具体解释

首先注明：本文不是原创，我也是在网上找了好久，找到这篇博文（链接），解决了我的问题，顺便在这里总结一下，给有需要的人。项目是用Maven 创建的，具体的创建过程就不做解释了。出现的问题如下：具体问题的图，如下：打开设置界面的路径如下: 主界面File——>Project Structure——>modules 如上图红圈所示，我们可以根据对项目的任意目录进行这五种目录类型标注，这个知...

2018-06-15 11:37:19 2687

转载 10种常见的软件架构模式

Tips原文作者：Vijini Mallawaarachchi原文地址：10 Common Software Architectural Patterns in a nutshell有没有想过要设计多大的企业规模系统？在主要的软件开发开始之前，我们必须选择一个合适的体系结构，它将为我们提供所需的功能和质量属性。因此，在将它们应用到我们的设计之前，我们应该了解不同的体系结构。什么是架构模式？根据维基...

2018-06-13 18:25:06 1492

转载 linux修改文件所有者和文件所在组

chgrp 用户名文件名 -Rchown 用户名文件名 -R -R表示递归目录下所有文件以上部分已验证一、修改文件所属组群——chgrp 修改文件所属组群很简单-chgrp命令，就是change group的缩写（我们可以利用这些来记忆命令）语法：chgrp 组群文件名/目录举例：[root@redhat ~]# groupadd grou...

2018-06-13 10:48:11 5942

转载 sbt安装

Spark 中没有自带 sbt，需要手动安装sbt，可在官网https://www.scala-sbt.org/download.html下载，我们这里使用的是sbt-0.13.9.tgz 我们选择安装在 /usr/local/sbt 中：sudo mkdir /usr/local/sbtsudo chown -R hadoop /usr/local/sbt # 此处的 hadoop 为...

2018-06-12 16:07:08 4991 2

转载 Spark的操作列表

Action 操作1、 collect() ,返回值是一个数组，返回dataframe集合所有的行2、 collectAsList() 返回值是一个java类型的数组，返回dataframe集合所有的行3、 count() 返回一个number类型的，返回dataframe集合的行数4、 describe(cols: String*) 返回一个通过数学计算的类表值(count, mean, std...

2018-05-31 14:29:57 833

原创 Hive 实现 IN 和 NOT IN 子句和 LEFT SEMI JOIN 应用

目前hive不支持 in或not in 中包含查询子句的语法，所以只能通过left join实现。假设有一个用户浏览商品表skim,和一个用户购买商品表buy。如下skim表userIditemIdtime0013422015-05-080023822015-05-090034582015-05-090044682015-05-09buy表userIditemIdtime0013422015-05...

2018-05-23 17:55:39 5592

转载 Mysql 获取排列序号

MySQL中可以使用变量产生行号，下面是2个简单例子：使用工具：MySQL Workbench说明：表heyf_10中字段，empid(员工工号)、deptid(部门编号)、salary(薪资)；rownum是自定义变量，表示行号。对员工按照部门进行分组，分组后对相同部门的员工按照工资高低排序，并显示排序序号。rownum：自定义变量，表示行号；pdept：临时存放员工所属部门号；rank：部门...

2018-05-15 16:49:39 2696

转载 mysql REGEXP 正则的实现两个字符串组的匹配

最近MySQL版块中类似问题出现得比较多。总结了一下。由于某些原因，有时候我们没有按照范式的设计准则而把一些属性放到同一个字符串字段中。比如个人兴趣，有时候我们设计表为 create table members (uid int primary key,uname varchar(20),hobby varchar(100)); 表中内容如下 mysql> select * from me...

2018-05-14 11:26:27 3722 1

转载 Mysql跨表更新多表update sql语句总结

Mysql跨表更新一直是大家所关心的话题，本文介绍mysql多表 update在实践中几种不同的写法，需要的朋友可以参考下假定我们有两张表，一张表为Product表存放产品信息，其中有产品价格列Price；另外一张表是ProductPrice表，我们要将ProductPrice表中的价格字段Price更新为Price表中价格字段的80%。在Mysql中我们有几种手段可以做到这一点，一种是upda...

2018-04-08 18:52:24 14274 4

转载 python列出文件夹下所有文件的四个方法

本文分享四个python列出文件下所有文件的方法，四个不同的小例子，学习下os模块、glob模块的用法，有需要的朋友参考下吧。本节主要内容：python os模块、glob模块列出文件夹下所有文件。python模块：python time模块python datetime模块python os模块python sys模块python decimal模块python math模块python url...

2018-04-08 10:59:36 46868

转载 hadoop搭建四个配置文件(core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml )的简单介绍

一、core-site.xml<configuration>  <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</...

2018-03-22 18:36:57 1088

原创 xxx is not in the sudoers file.This incident will be reported.的解决方法

1.切换到root用户下,怎么切换就不用说了吧,不会的自己百度去.2.添加sudo文件的写权限,命令是:chmod u+w /etc/sudoers3.编辑sudoers文件vi /etc/sudoers找到这行 root ALL=(ALL) ALL,在他下面添加xxx ALL=(ALL) ALL (这里的xxx是你的用户名)ps:这里说下你可以sudoers添加下面四行中任意一条youuser ...

2018-03-20 19:11:54 3491

转载如何判断Linux是32位还是64位

如何判断Linux是32位还是64位方法一：getconf LONG_BIT在linux终端输入 getconf LONG_BIT 命令如果是32位机器，则结果为32[cpp] view plain copy[root@localhost ~]# getconf LONG_BIT32如果是64位机器，则结果为64[cpp] view plain copy[root@localhost ~]# ge...

2018-03-20 14:17:26 235

转载 Oracle高级查询之OVER (PARTITION BY ..)

为了方便大家学习和测试，所有的例子都是在Oracle自带用户Scott下建立的。注：标题中的红色order by是说明在使用该方法的时候必须要带上order by。一、rank()/dense_rank() over(partition by ...order by ...)现在客户有这样一个需求，查询每个部门工资最高的雇员的信息，相信有一定oracle应用知识的同学都能写出下面的SQL语句：[s...

2018-03-19 10:51:25 306

转载 Mysql----查看数据库,表占用磁盘大小

查询所有数据库占用磁盘空间大小select TABLE_SCHEMA, concat(truncate(sum(data_length)/1024/1024,2),' MB') as data_size,concat(truncate(sum(index_length)/1024/1024,2),'MB') as index_sizefrom information_schema.tabl...

2018-03-15 18:51:18 1070

转载 MySQL的lock tables和unlock tables的用法（转载）

早就听说lock tables和unlock tables这两个命令，从字面也大体知道，前者的作用是锁定表，后者的作用是解除锁定。但是具体如何用，怎么用，不太清楚。今天详细研究了下，总算搞明白了2者的用法。lock tables 命令是为当前线程锁定表.这里有2种类型的锁定，一种是读锁定，用命令 lock tables tablename read;另外一种是写锁定，用命令lock tables ...

2018-03-09 11:45:13 5278 1

转载 Mysql 分组聚合实现 over partition by 功能

mysql中没有类似oracle和postgreSQL的 OVER(PARTITION BY)功能. 那么如何在MYSQL中搞定分组聚合的查询呢先说结论: 利用 group_concat + substr等函数处理例如: 订单表一张, 只保留关键字段iduser_idmoneycreate_time115014205200002110014205200103210014205200204220...

2018-03-06 17:57:55 2292

转载 MySQL字符串中抽取数值的方法

MySQL的字符串函数非常多，以至于有时候我不知道该如何灵活的使用这些函数。字符串基本信息函数 collation convert，char_length等加密函数 password(x)，encode, aes_encrypt字符串连接函数 concat(x1,x2,….)修剪函数 trim,ltrim,rtrim子字符串操作函数 substring(x,start,len...

2018-03-06 16:32:04 14669 1

转载 MySQL比like语句更高效的写法

LIKE语句SELECT `column` FROM `table` where `condition` like `%keyword%'事实上，可以使用 locate(position) 和 instr 这两个函数来代替一、LOCATE语句SELECT `column` from `table` where locate(‘keyword’, `condition`)>0二、或是 loca...

2018-03-05 18:26:26 760

转载浅谈sql中的in与not in,exists与not exists的区别

1、in和existsin是把外表和内表作hash连接，而exists是对外表作loop循环，每次loop循环再对内表进行查询，一直以来认为exists比in效率高的说法是不准确的。如果查询的两个表大小相当，那么用in和exists差别不大；如果两个表中一个较小一个较大，则子查询表大的用exists，子查询表小的用in；例如：表A(小表)，表B(大表)select * fr

2018-01-11 10:01:54 556

原创 MySQL使用正则表达式

以前我要查找数据都是使用like后来发现mysql中也有正则表达式了并且感觉性能要好于like，下面我来给大家分享一下mysql REGEXP正则表达式使用详解，希望此方法对大家有帮助。一、正则与LIKE的区别 Mysql的正则表达式仅仅使SQL语言的一个子集，可以匹配基本的字符、字符串。正则表达式描述了一组字符串。最简单的正则表达式是不含任何特殊字符的正则表达式。

2017-12-26 17:18:46 11913

转载 ETL介绍与ETL工具比较

本文转载自：http://blog.csdn.net/u013412535/article/details/43462537ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过萃取（extract）、转置（transform）、加载（load）至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。ETL负责将分

2017-12-25 11:21:11 8751 2

原创 hive 查找函数并查看函数使用方法

1. 查看month 相关的函数show functions like '*month*'输出如下：2.查看 add_months 函数的用法desc function add_months;3. 查看 add_months 函数的详细说明并举例desc function extended add_months;

2017-12-21 18:08:23 21456 2

转载 ORACLE 中ROWNUM用法总结!

ORACLE 中ROWNUM用法总结! 对于 Oracle 的 rownum 问题，很多资料都说不支持>,>=,=,between...and，只能用以上符号(,& gt;=,=,between..and 时会提示SQL语法错误，而是经常是查不出一条记录来，还会出现似乎是莫名其妙的结果来，其实您只要理解好了这个 rownum 伪列的意义就不应该感到惊奇，同样是伪列，rownum 与 rowid

2017-12-20 18:39:12 14272

转载大数据之数仓平台设计思路01

对于大数据来说，数仓的作用不言而喻，承载着整个公司全业务线的数据，现阶段，在hadoop上的数仓主要是用来解决企业内部数据的分析，尤其是各种各样的统计分析报表。本文主要结合自己公司目前数仓的结构设计和现阶段解决的问题而叙述和分享，如有不明，错误之处，各位看官可指出，非常感谢！下图为数仓整体的技术架构：一个优秀可靠的数仓，一定要结构、分层清晰，而不是越多的分层和主题越好，保障

2017-12-04 15:09:01 798

转载将 mysql 查询结果输出到文件

直接用 mysql 命令[plain] view plain copy# 连接本地数据库，用户名为 gino 密码为 123456 指定所连接的数据库为 mysql gino@gino-exploit:~$ mysql -h localhost -ugino -p123456 -D mysql # select 语句的结果

2017-12-01 17:55:26 4119

转载数据仓库和数据集市的区别

数据仓库与数据集市看了很多数据仓库方面的资料，都涉及到了“数据集市”这一说法，刚开始对数据仓库和数据集市的区别也理解得比较肤浅，现在做个深入的归纳和总结，主要从如下几个方面进行阐述：（1）基本概念（2）为什么提出数据集市（3）数据仓库设计方法论（4）数据集市和数据仓库的区别（5）仓库建模与集市建模（6）案例分析：电信CRM数据仓库Bill Inm

2017-11-29 14:46:56 2516

转载 MySQL出现Waiting for table metadata lock的原因以及解决方法

转自：http://ctripmysqldba.iteye.com/blog/1938150 (有修改)MySQL在进行alter table等DDL操作时，有时会出现Waiting for table metadata lock的等待场景。而且，一旦alter table TableA的操作停滞在Waiting for table metadata lock的状态，后续对TableA的任

2017-11-22 18:16:41 2482

原创 python操作MYSQL实例及异常信息处理

span style="font-size:14px;">import pymysql as mysql # pip install PyMySQL Python3的安装方式 #引入python中的traceback模块，跟踪错误 import traceback #引入sys模块 import sys class MysqlUtil(): de

2017-11-09 15:55:10 24323 1

原创 python:浅析python中name = "main"的作用

有句话经典的概括了这段代码的意义：“Make a script both importable and executable”意思就是说让你写的脚本模块既可以导入到别的模块中用，另外该模块自己也可执行。这句话，可能一开始听的还不是很懂。下面举例说明：先写一个模块：12345#mo

2017-11-08 18:16:04 375

转载 python3.5爬虫实例：根据城市名称来获取该城市最近七天的天气预报

#抓取天气网站最近7天的天气情况，写入文件并在控制台显示from bs4 import BeautifulSoup #用来代替正则表达式取源码中相应标签的内容import randomimport requests #用来抓取网页的html源代码import socket #用做异常处理import timeimport http.client #用做异常处理import csv

2017-11-08 11:30:05 2299

原创 MySQL导入csv文件

作为一个ETL开发工程师日常需要经常与数据打交道，就在昨天领导给了一批数据，为csv（150M * 3张）和xlsx（3M）格式。本来就是个简单的数据导入（毕竟数据导入做了不止一次）首先想到的就是使用LOAD DATA 命令导入，大量数据的导入LOAD DATA 效率比 insert 和可视化工具导入要快很多，没想到这几个文件花费了我将近一天的时间。。。首先介绍下LOAD DATA 的命令：

2017-10-27 15:04:03 4522

转载 python os模块常用命令

python编程时，经常和文件、目录打交道，这是就离不了os模块。os模块包含普遍的操作系统功能，与具体的平台无关。以下列举常用的命令1. os.name——判断现在正在实用的平台，Windows 返回 ‘nt'; Linux 返回’posix'2. os.getcwd()——得到当前工作的目录。3. os.listdir()——指定所有目录下所有的文件和目录名。例：

2017-10-18 15:55:41 403

转载 txt文件导入mysql

LOAD DATA [LOW_PRIORITY | CONCURRENT] [LOCAL] INFILE 'file_name' [REPLACE | IGNORE] INTO TABLE tbl_name [CHARACTER SET charset_name] [{FIELDS | COLUMNS} [TERMINATED BY 'string'

2017-10-11 17:31:09 231

原创如何从搭建有GIT服务的服务器上下载代码

1. 建立与服务器的互信 1.1 如果客户端没有GIT，需要下载下载Git软件：http://msysgit.github.io/ 安装git软件(很简单)。安装成功后，在[开始]->[程序]->[git],下就会看见Git Bash和Git GUI，打开Git Bash，进入bash界面。 1.2 客户端GIT BASH中生

2017-09-28 17:25:48 1582

原创 Hive几种数据导出方式

转自：http://www.iteblog.com/archives/955谈到了Hive中几种数据的导入方式，不同的数据导入方式用途不一样。今天我们再谈谈Hive中的几种不同的数据导出方式。可以根据导出的地方不一样，将这些方式分为三种：（1）、导出到本地文件系统；（2）、导出到HDFS中；（3）、导出到Hive的另一个表中。为了避免单纯的文字，我将一步一步地用命令进行说明。　　一、导出到...

2017-09-27 15:03:49 958

pip-9.0.1.tar

pip 是一个现代的，通用的 Python 包管理工具。提供了对 Python 包的查找、下载、安装、卸载的功能; pip 是一个现代的，通用的 Python 包管理工具。提供了对 Python 包的查找、下载、安装、卸载的功能;

2017-09-06

python3.6.0-64位

Python具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中[3] 有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时可能需要考虑平台问题，某些可能不提供跨平台的实现

2017-09-06