争取多缴税-CSDN博客

原创 sparksql读取hbase

test("hbase") { val sqlContext = SparkSession.builder().getOrCreate().sqlContext //拉取hbase数据 val hBaseConfiguration = HBaseConfiguration.create() hBaseConfiguration.set(TableInputFormat.INPUT...

2018-08-08 19:46:14 1657

原创 newAPIHadoopRDD

import org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.hbase.client.{ConnectionFactory, Result}import org.apache.hadoop.hbase.io.ImmutableBytesWritableimport org.apache.hadoop.h...

2018-07-31 09:50:30 6593 1

原创 centos7安装cdh5

一．Ip配置设置IP地址、网关DNS　　说明：CentOS 7.0默认安装好之后是没有自动开启网络连接的！　　cd /etc/sysconfig/network-scripts/ #进入网络配置文件目录　　vi ifcfg-eno16777736 #编辑配置文件，添加修改以下内容　　HWADDR=00:0C:29:8D:24:73　　TYPE=Ethernet　　BOO

2017-10-09 08:47:08 860

原创 hive,hbase命令行无法回格

在secureCRT中，点击"选项"->"回话选项"->"终端"->"仿真"右边的终端选择linux，在hbase shell中如输入出错，Ctrl+回格键即可删除

2017-09-30 11:38:22 659 1

原创 linux下ftp命令调用外部变量传送文件

1.首先确定目标服务器安装了vsftpd服务，没有该服务可以用yum安装yum install vsftpd2.开启目标服务器ftp服务service vsftpd start设置开机自启chkconfig vsftpd on3.本地服务器测试连接，连接不上尝试关闭目标服务器的防火墙4.开始写命令dis1=192.168.1.2 #目标服务器myuser=

2017-09-26 11:19:29 2154

原创 centos安装redis

一.下载资源(1.)redis官网地址：http://www.redis.io/(2.)下载源码，解压缩后编译源码。wget http://download.redis.io/releases/redis-2.8.3.tar.gz无wget命令,从yum源安装:yum install wget(3.)解压文件tar -zxvf redis-2.8.3.tar.gz(

2017-08-28 16:25:30 216

一.将repos源放在/etc/yum.repos.d目录下(1.)安装源下载源:https://dev.mysql.com/downloads/repo/yum/rpm -ivh mysql57-community-release-el6-n.noarch.rpm安装完成后会出现两个.repo:mysql-community.repo mysql-community-source.repo(2....

2017-08-24 12:00:56 229

原创 windows下配置mysql主从备份

一.原理1.MYSQL主从同步是在MySQL主从复制（Master-Slave Replication）基础上实现的，通过设置在Master上的binlog，使其处于打开状态；Slave通过一个I/O线程从Master上读取binlog，然后传输到Slave的中继日志中，然后使用SQL线程读取中继日志，并应用到自身数据库中，从而实现主从数据同步功能二.主服务器配置(1.

2017-08-22 10:01:03 665

转载正则表达式

评注：匹配中文还真是个头疼的事，有了这个表达式就好办了匹配双字节字符(包括汉字在内)：[^x00-xff]评注：可以用来计算字符串的长度（一个双字节字符长度计2，ASCII字符计1）匹配空白行的正则表达式：ns*r评注：可以用来删除空白行匹配HTML标记的正则表达式：]*>.*?|评注：网上流传的版本太糟糕，上面这个也仅仅能匹配部分，对于复杂的嵌套标记依旧无能为力匹

2017-08-11 18:06:15 157

原创 request请求https时禁用安全请求警告

def getPhoneLocatin(): match=re.compile(ur".*?province:'(.*?)'.*") temp=[] for phone in loadData(): realphone=phone if len(str(phone).strip())>11: phone=str(pho

2017-07-27 19:14:12 2645

原创 python连接mongodb密码认证

from pymongo import MongoClient#建立和数据库系统的连接,指定host及port参数client = MongoClient('localhost', 27017)#连接mydb数据库,账号密码认证db = client.mydbdb.authenticate("account", "password")#连接表collection = d

2017-05-08 17:13:46 17334

canal.kafka

canal伪装成mysql的slave,发送dump命令从mysql增量订阅数据,并将数据实时发送到kafka,进行流式分析

2018-09-28

Ruby 从入门到精通

和传统语言相比,python已经够好了,但是Ruby比Python还好,它的语法简单,灵活多变,而且实现了真正纯粹的面向对象,在Ruby中一切都是对象.本书是学习Ryby经典读物

2018-07-01

scala程序设计第2版

Scala程序设计(第2版)通过大量的代码示例，全面介绍Scala这门针对JVM的编程语言，向读者展示了如何高效地利用Scala语言及其生态系统，同时解释了为何Scala是开发高扩展性、以数据为中心的应用程序的理想语言。本书既适合Scala初学者入门，也适合经验丰富的Scala开发者参考。

2017-10-02

scala编程入门中文版

本书介绍了一种新的编程语言，它把面向你对象和函数式编程概念有机地结合为整体，从而形成一种完整统一语义丰富的新思维体系。本书由浅入深，经作者精心组织，仔细编排将语言中的各种概念自然地铺陈在字里行间。除此之外还包含了大量富有针对性和趣味性的事例。

2017-10-01

JDK1.8中文版本

Java 8是一款革命性开发平台，其全面升级现有Java编程模式，带来一项协同开发的JVM、Java语言以及库。Java 8平台集合生产力、易用性、多语种编程、更高安全性和稳定性等特色。racle甲骨文公司如期发布下一代Java开发工具：Java 8。另外，官方也发布JDK 8（Java Development Kit) 8）开发工具，带来诸多新特性。欢迎Java开发爱好者下载使用。

2017-09-19

scala编译器

Scala运行于Java平台(Java虚拟机)，并兼容现有的Java程序。它也能运行于Java ME, CLDC(Java Platform, Micro Edition Connected Limited Device Configuration)上。还有另一.NET平台的实现，不过该版本更新有些滞后。 Scala的编译模型(独立编译，动态类加载)与Java和C#一样，所以Scala代码可以调用Java类库(对于.NET实现则可调用.NET类库) 。 Scala包中包含了编译器和类库，以BSD许可证发布。折叠

2017-09-09

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

weisongming的博客

原创 sparksql读取hbase

原创 newAPIHadoopRDD

原创 centos7安装cdh5

原创 hive,hbase命令行无法回格

原创 linux下ftp命令调用外部变量传送文件

原创 centos安装redis

原创 linux mysql yum安装

原创 windows下配置mysql主从备份

转载正则表达式

原创 request请求https时禁用安全请求警告

原创 python连接mongodb密码认证

canal.kafka

Ruby 从入门到精通

scala程序设计第2版

scala编程入门中文版

JDK1.8中文版本

scala编译器

Vertica入门文档

银行业务知识详细

tableau入门经典教程

python 验证码包

DB2函数大全

linux命令行API

DataStage入门学习资料

MySQL从入门到精通.pdf

python解析xls模块包

空空如也