kw-home

人生若只如初见

排序：
默认
按更新时间
按访问量
RSS订阅

原 Hadoop2.7.3搭建单机、伪分布环境

1.下载jdk并安装去官网下就可以了，下完之后把文件移到/opt/Java下[plain] view plain copyguo@guo:~/下载$ mv ./hadoop-2.7.2-src.tar.gz /opt/Hadoop/  mv: 无法创建普通文件"/opt/Hado...

2017-12-05 10:45:16

阅读数：806

评论数：0

原 Linux内存使用情况

1. top top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器。 　　可以直接使用top命令后，查看%MEM的内容。可以选择按进程查看或者按用户查看，如想查看oracle用户的进程内存使用情况的话可以使用如下的命令： 　　...

2019-01-16 11:18:48

阅读数：79

评论数：0

原 python 获取环境变量

用Python Shell设置或获取环境变量的方法： 一、设置系统环境变量 1、os.environ['环境变量名称']='环境变量值' #其中key和value均为string类型 2、os.putenv('环境变量名称', '环境变量值') 二、获取系统环境变量 1、os.envir...

2019-01-15 16:07:22

阅读数：32

评论数：0

原 Hbase存储详解

Hbase存储详解 一、概述 　　Hbase是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。 　　它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。...

2018-12-22 16:47:53

阅读数：122

评论数：0

原 python爬取淘宝商品信息

本文实现了用python爬取淘宝信息的功能，主要涉及访问网页、正则匹配、json格式化等技术。 # -*- coding: utf-8 -* import requests # import bs4 import re import json def open(keywords, pag...

2018-12-22 14:21:46

阅读数：122

评论数：0

转 Apache 流框架 Flink，Spark Streaming，Storm对比分析

1.Flink架构及特性分析 Flink是个相当早的项目，开始于2008年，但只在最近才得到注意。Flink是原生的流处理系统，提供high level的API。Flink也提供 API来像Spark一样进行批处理，但两者处理的基础是完全不同的。Flink把批处理当作流处理中的一种特殊情况。在F...

2018-12-06 12:13:02

阅读数：144

评论数：0

原 Python Excel 导出 + 发送邮件

一、依赖模块 1.excel导出依赖xlwt或者xlsxwriter xlwt只能支持65535行，较大数据量可以选用xlsxwriter; python 字符默认是ascii编码，导出时转化为udf-8格式 2.发送邮件依赖smtplib 发送附件时，必须用starttls()，保证安...

2018-12-03 20:44:31

阅读数：224

评论数：0

原 python实现Phoenix批量导入数据

官网文档： Phoenix provides two methods for bulk loading data into Phoenix tables: · Single-threaded client loading tool for CSV formatted data via the ...

2018-11-14 17:18:13

阅读数：98

评论数：0

原 Hive几种数据导入方式

一、从本地文件系统中导入数据到Hive表 先在Hive里面创建好表，如下： hive> create table wyp > (id int, name string, > age int, tel st...

2018-10-23 17:43:45

阅读数：106

评论数：0

原 shell获取日期

1.通过shell获取当前8位日期，并赋给变量，并且使用变量作为文件名，建立文件夹 ls_date=`date +%Y%m%d` mkdir ${ls_date} 获取日期注意事项：date +%Y%m%d 这个字符串是被英文状态下的ESC下面那个键。 获取变量注意事项：必须有$与{变量名...

2018-04-10 11:07:20

阅读数：158

评论数：0

转 IntelliJ IDEA 2017激活(Mac版本)

1. 下载JetbrainsCrack-2.6.2.jar链接:http://pan.baidu.com/s/1eRJkOcq 密码:a4ji12这个是我使用的IntelliJ IDEA 2017版本下载地址链接:http://pan.baidu.com/s/1kVHoZ5t 密码:weu...

2018-03-27 14:30:24

阅读数：544

评论数：0

转 spark的kafka的低阶API createDirectStream

大家都知道在spark1.3版本后，kafkautil里面提供了两个创建dstream的方法，一个是老版本中有的createStream方法，还有一个是后面新加的createDirectStream方法。关于这两个方法的优缺点，官方已经说的很详细(http://spark.apache.org/d...

2018-03-08 14:21:21

阅读数：250

评论数：0

转 Spark 核心 RDD 剖析

本文将通过描述 Spark RDD ——弹性分布式数据集（RDD，Resilient Distributed Datasets）的五大核心要素来描述 RDD，若希望更全面了解 RDD 的知识，请移步 RDD 论文：RDD：基于内存的集群计算容错抽象RDD是Spark的最基本抽象,是对分布式内存的抽...

2018-03-06 09:52:37

阅读数：278

评论数：0

原 Java实现“推荐注册，获得奖励”算法

应用场景：推荐新用户注册A会员推荐B注册，即赠送A会员100积分，B会员推荐C会员注册，赠送A会员50积分、B会员各100积分，依次类推，只要A发展的会员继续发展下面的会员，A都可以获增相应的积分。 package com.enn.test; import java.util.ArrayList...

2018-03-05 18:29:57

阅读数：874

评论数：0

原 Hive和关系型数据库的区别

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供类sql语句的查询功能；Hive使用Hql作为查询接口，使用HDFS存储，使用mapreduce计算；Hive是非关系型数据库即NoSQL（Not Only SQL）。关系数据库，是建立在关系模型基础上的数据库...

2018-03-05 11:10:34

阅读数：430

评论数：0

转 解决Spark应用日志级别设置

最近在研究Spark的相关知识，本地搭建了一个开发环境Windows7+Eclipse+JDK1.7。一. 日志效率原因开发时，控制台输出一大堆日志信息，严重影响查看日志效率。从控制台输出日志我们可以看出，应用程序是默认加载Spark-core包下面的log4j-defaults.properti...

2018-03-01 14:07:16

阅读数：2486

评论数：0

原 redis安装配置

REmote DIctionary Server(Redis) 是一个由Salvatore Sanfilippo写的key-value存储系统。1、先到Redis官网(redis.io)下载redis安装包 2、解压并进入其目录　　3、编译源程序。由于redis是C语言编写，因此需要编译。如果执行...

2018-02-28 16:09:45

阅读数：250

评论数：0

原 kafka+zookeeper安装配置

1、安装zookeeper步骤1：下载并解压zookeeper安装包tar -zxvf zookeeper-3.4.11.tar.gz 步骤2：配置环境变量 export ZOOK=/opt/hadoop/zookeeper-3.4.11 步骤3：配置文件 zoo.cfgcd conf/ 复制配置...

2018-02-26 14:55:30

阅读数：1942

评论数：0

原 SSM框架（三）——Mybatis多表关联查询

本文介绍ssm框架中mybatis实现多表关联查询的问题。主要修改mapper.xml和Entity定义两个地方，mapper.xml中需要定义返回格式，而Entity里定义关联表类的相互引用等关系。 一、一对一关联  1.1、提出需求 　　根据班级id查询班级信息(带老师的...

2018-01-15 16:03:48

阅读数：5048

评论数：3

原 SSM框架（二）——Mybatis传多个参数

本文介绍三种方法： 1）用下标代替 DAO层的函数方法  Public User selectUser(String name,String area);对应的Mapper.xml   select * from user_user_t where user...

2018-01-15 15:54:21

阅读数：1546

评论数：0

提示
确定要删除当前文章？
取消 删除
关闭
关闭