自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

最怕你一生碌碌无为 还安慰自己平凡可贵

多看,多想,少说,敢做。

  • 博客(18)
  • 资源 (2)
  • 收藏
  • 关注

原创 pom文件备份

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> <modelVersion>4.0.0</modelVer

2020-09-01 17:49:00 167 1

原创 python学习第二节——python连接操作mysql

一、导入pymysql包:import pymysql二、建立MySQL链接:conn = pymysql.connect( host='localhost', user='root', password='123456', db='pythonDB', port=3306, charset='utf8')三、获取游标cusorcursor = conn.cursor()四、使用 execute() 方法运行自己需要的sql#创建数据库

2020-08-18 17:12:43 190

原创 python学习第一节——利用python读取外部数据

1、 python读取csv文件import pandas as pdfile = pd.read_csv('E:\\csv\\人力.csv', error_bad_lines=False, encoding='utf-8')df = pd.DataFrame(file)print(df)2、python读取txt文件file = open('E:\\csv\\测试.txt', encoding='utf-8')data = file.read()print(data)...

2020-08-14 15:16:14 193

转载 CSDN Markdown 格式备份

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I...

2018-07-18 14:46:04 156

原创 spark在将嵌套json作为数据源时,schema的构造问题

val schema = new StructType() .add("data", new StructType() .add("channel", "string", true) .add("mid", "string", true) .add("page", "string&qu

2018-07-10 18:23:56 1813

原创 idea Terminal 命令行配置使用 git 命令

File -&amp;gt; Settings -&amp;gt; Tools -&amp;gt; Terminal -&amp;gt; Shell Path: 指定自己本地的 git 目录:D:\git\bin\bash.exe注意是 bash.exe

2018-06-13 08:50:51 12032 2

原创 造数据

今天头儿临时起意让造一部分数据,其间有几个小问题,在此mark一下package come.prince.spark.demoimport java.util.UUIDimport org.apache.log4j.{Level, Logger}import org.apache.spark.sql.{SaveMode, SparkSession}import org.code...

2018-05-29 18:55:54 917

转载 深入浅出 RPC - 深入篇

《深入篇》我们主要围绕 RPC 的功能目标和实现考量去展开,一个基本的 RPC 框架应该提供什么功能,满足什么要求以及如何去实现它。RPC 功能目标RPC 的主要功能目标是让构建分布式计算(应用)更容易,在提供强大的远程调用能力时不损失本地调用的语义简介性。为实现该目标,RPC 框架需提供一种透明调用机制让使用者不必显式的区分本地调用和远程调用,在前文《浅出篇》中给出了一种实现结构,基...

2018-05-29 18:47:07 473

转载 转一片前辈的文章:深入浅出 RPC - 浅出篇

原文链接:https://blog.csdn.net/mindfloating/article/details/39473807 为了体现对前辈的尊重,也为了加深记忆,我自己再码一遍 ————————————————————————————————————————————————————— 近几年的项目中,服务化和微服务化渐渐成为中大型分布式系统架构的主流方式,而 RPC 在其中扮演着关键的...

2018-05-25 13:17:53 249

原创 根据用户 IP 解析地域信息

利用 GeoLite2-City 将服务器日志中的IP 信息,解析成更加直观有效的地域信息。话不多说,直接上代码:实际运用时代码要根据需求稍加改动,像我是读取parquet 日志文件,分析后将结果写入MySQL。package come.prince.spark.demoimport java.io.Fileimport java.net.InetAddressimport...

2018-05-24 09:21:45 1487

原创 spark写入mysql的几种方法,针对不同场景

方法一:各个字段都是提前定好的val prop = new java.util.Propertiesprop.setProperty(&quot;user&quot;, &quot;root&quot;)prop.setProperty(&quot;password&quot;, &quot;123456&quot;)df1.write.mode(SaveMode.Append).jdbc(&quot;jdbc:mysql:

2018-05-23 17:24:17 5440

原创 Spark SQL 按照某个字段去重

/** * 按照两个字段进行排重 * Created by princeping on 2017/8/8. */object SQLDemo { def main(args: Array[String]): Unit = { val spark = SparkSession.builder.appName(&amp;quot;SQLDemo&amp;quot;).master(&amp;quot;local&amp;quot;).getOrC...

2018-05-23 16:51:59 14209

原创 Kafka 基础命令备忘

启动:kafka-2.11/bin/kafka-server-start.sh -daemon kafka-2.11/config/server.properties &amp;amp;创建:bin/kafka-topics.sh --create --zookeeper slave5.hadoop:2181,slave6.hadoop:2181,slave7.hadoop:2181 --replica...

2018-05-23 16:12:53 134

原创 Linux Crontab 定时任务

crontab文件-bash: vat: command not found[hadoop@master1 etc]$ cat crontabSHELL=/bin/bashPATH=/sbin:/bin:/usr/sbin:/usr/binMAILTO=rootHOME=/# For details see man 4 crontabs# Example of job d...

2018-05-21 15:19:09 243

原创 spark读取kafka后写入redis

package com.prince.demo.testimport com.typesafe.config.ConfigFactoryimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.log4j.{Level, Logger}import org.apache.spark.s...

2018-05-18 16:32:25 3363

原创 简单记录下我现在玩的集群,以及集群中常用的一些命令

七个节点,进程分布如下:master1 namenode hmaster master kafkaslave2 namenode hmaster worker kafkaslave3 nodemanager/resourcemanager worker kafkaslave4 nodemanager/resourcemanager ...

2018-05-18 15:58:31 329

原创 Kafka使用过程中常见问题汇总

启动一段时间后,kafka进程自动停止。 启动命令:kafka-2.11/bin/kafka-server-start.sh kafka-2.11/config/server.properties &amp;amp; 更换成:kafka-2.11/bin/kafka-server-start.sh -daemon kafka-2.11/config/server.properties &amp;amp; 就...

2018-05-18 15:47:59 1159

原创 spark读取kafka数据写入hbase

package com.prince.demo.testimport java.util.UUIDimport com.typesafe.config.{Config, ConfigFactory}import org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.hbase.client.Putimpo...

2018-05-18 15:23:05 3617 3

通过IP获取地理位置

将ip解析成更加直观有效的地理位置信息,方便我们更加深入的了解用户信息。

2018-05-24

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除