IntelliJ IDEA打开多个项目且相互调用代码

目录1、需求2、注意事项(6点非常重要)3、建立Project和建立module4、项目之前的依赖关系5、代码展示6、项目中POM依赖展示7、运行结果展示—————————————————————————————————————1、需求1、IntelliJ IDEA打开多个项目 2、每个同学开发一个项目,相互之前独立不影响 3、通过一个入口可以调用所有项目类、方法、属性,达到同时开发且检测代码...
阅读(3997) 评论(0)

北京一环 二环 三环 四环 五环 六环 周长和面积

一环线 周长 16.9公里 环内面积 18平方公里二环线 周长 32.7公里 环内面积 62平方公里三环线 周长 48.3公里 环内面积 159平方公里四环线 周长 65.3公里 环内面积 302平方公里五环线 周长 98.6公里 环内面积 667平方公里六环线 周长188.0公里 环内面积2267平方公里...
阅读(13889) 评论(0)

SparkStreaming无丢失读取Kafka且转为DataFrame

目录1、需求2、步鄹3、日志格式4、代码展示5、运行结果展示6、Kafka Manager 和 Zookeeper展示———————————————————————————————1、需求1、SparkStreaming读取Kafka数据,且将offset存储到Zookeeper中 2、控制每次读取数据的最大值 3、将读取出来的数据,转为DataFrame2、步鄹1、通过zkClient.rea...
阅读(1378) 评论(2)

大数据组项目文档整理方案

目录:一、 项目文档规范说明1. 文档结构说明2. 案例说明二、 项目文档结构说明1. 文档结构步鄹:2. 案例如下:———————————————————————————————————一、 项目文档规范说明1. 文档结构说明1) 流程图使用Visio画图 2) 其余资料使用MarkDown:只能有大标题、小标题和表格2. 案例说明1) MarkD...
阅读(716) 评论(0)

Phoenix安装、连接Hbase、配置

目录:一、Phoenix安装二、Phoenix安装及连接Hbase三、phoenix 配置—————————————————————————————一、Phoenix安装1、首先去官网下载Phoenix的压缩包 下载地址:http://mirror.bit.edu.cn/apache/phoenix/ 由于我们系统的Hbase版本是1.1版本的,故下载4.7版本的Phoenix。...
阅读(1779) 评论(1)

CDH集群迁移

目录一:集群搭建二:hdfs数据迁移三:kafka节点添加四:hbase数据迁移———————————————————————————————————–一:集群搭建参考:http://blog.csdn.net/silentwolfyh/article/details/54893826二:hdfs数据迁移准备工作 1、新集群搭建完毕 2、新老机器所有yarn节点可以ping通 3、命令,在老集...
阅读(823) 评论(0)

CDH安装和维护

目录:1、安装文件准备2、系统环境准备3、cloudera manager 调优4、Cloudera Manager安装5、CDH安装6、常用工具地址7、一些常见问题————————————————————————————————————–1、安装文件准备CDH下载地址:http://archive.cloudera.com/cdh5/parcels/latest/下载操作系统对应的版本:1.CDH...
阅读(865) 评论(0)

Redis集群搭建步鄹

Redis cluster set upauthor: chenlei leibositeCluster architecture:steps: Download redis source file: wget http://download.redis.io/releases/redis-3.2.4.tar.gz Unzip:tar zxvf redis-3.2.4.tar.gz Compile:...
阅读(455) 评论(0)

Kafka:无丢失提取kafka的值,详解kafka的消费过程

目录:1、需求2、代码步鄹3、代码展现4、pom.xml文件5、结果展现——————————————————————————————————–1、需求前提:将org.apache.spark.streaming.kafka.KafkaCluster这个类抽出来变成KafkaClusterHelper * 需求:* 1、将kafka中的数据无丢失提取,且存到本地 2、详解Kafka读取数据步鄹...
阅读(1605) 评论(0)

Kafka:Kafka的生产和消费(Java版本)

目录:1、代码2、POM3、展示—————————————————————————————1、代码package com.donews.data.kafkatest;import java.io.BufferedReader; import java.io.FileReader; import java.util.Properties; import java.util.concurrent.T...
阅读(706) 评论(0)

设计模式:懒汉式和饿汉式

下面对单例模式的懒汉式与饿汉式进行简单介绍: 1、饿汉式:在程序启动或单件模式类被加载的时候,单件模式实例就已经被创建。 2、懒汉式:当程序第一次访问单件模式实例时才进行创建。 如何选择:如果单例模式实例在系统中经常会被用到,饿汉式是一个不错的选择。反之如果单例模式在系统中会很少用到或者几乎不会用到,那么懒汉式是一个不错的选择。饿汉式和懒汉式代码:package Single; public...
阅读(225) 评论(0)

Linux:RSync实现文件备份同步图解及代码

目录:1、需求2、图解3、代码备注:参考RSync命令 http://blog.csdn.net/silentwolfyh/article/details/546139411、需求:将Nginx文件从采集服务器同步到CDH服务器,最后放入Flume监控目录2、图解3、代码[root@xiaohui nginx_log]# cat get_file_test.sh cd /home/nginx_l...
阅读(283) 评论(0)

linux:rsync命令详细整理

前提:        rsync是一个功能非常强大的工具,其命令也有很多功能特色选项,我们下面就对它的选项一一详细说明,需要了解的朋友可以参考下       在对rsync服务器配置结束以后,下一步就需要在客户端发出rsync命令来实现将服务器端的文件备份到客户端来。rsync是一个功能非常强大的工具,其命令也有很多功能特色选项,我们下面就对它的选项一一进行分析说明。 Rsync的命令格式可以为以...
阅读(202) 评论(0)

微信统计数据的获取及存储

目录:1、需求:2、开发前期准备:3、代码结构:4、Mysql数据表设计:5、代码展示:6、结果展示:1、需求:熟悉获取微信统计数据的接口,并设计数据获取方案,微信数据接口文档地址:https://mp.weixin.qq.com/wiki/15/88726a421bfc54654a3095821c3ca3bb.html 2、开发前期准备:1、ACCESS_TOKEN:获取微信唯一标识ACCESS...
阅读(983) 评论(0)

win7上python2.7连接mysql数据库

一:安装MySQL-python驱动pip install mysql二:连接到MySQL服务器的test数据库#!/usr/bin/python # -*- coding: UTF-8 -*-import mysql.connector if __name__ == "__main__": # 打开数据库连接 conn=mysql.connector.connect(host='...
阅读(566) 评论(0)
327条 共22页首页 上一页 ... 6 7 8 9 10 ... 下一页 尾页
    个人简介
    个人资料
    • 访问:357828次
    • 积分:6444
    • 等级:
    • 排名:第3954名
    • 原创:280篇
    • 转载:23篇
    • 译文:24篇
    • 评论:76条
    博客专栏
    【友情推荐】章鱼大数据