Tai_Park
码龄8年
关注
提问 私信
  • 博客:139,284
    139,284
    总访问量
  • 86
    原创
  • 1,374,581
    排名
  • 294
    粉丝
  • 1
    铁粉

个人简介:ฅ( ̳• ◡ • ̳)ฅ

IP属地以运营商信息为准,境内显示到省(区、市),境外显示到国家(地区)
IP 属地:江苏省
  • 加入CSDN时间: 2016-10-08
博客简介:

Tai_Park

博客描述:
CS研究僧,还没秃,个人主页:https://www.taipark.cn 欢迎光临:)
查看详细资料
个人成就
  • 获得184次点赞
  • 内容获得49次评论
  • 获得1,349次收藏
  • 代码片获得833次分享
创作历程
  • 1篇
    2022年
  • 32篇
    2020年
  • 3篇
    2019年
  • 50篇
    2018年
成就勋章
TA的专栏
  • Spark和他的小伙伴们
    10篇
  • 大数据入门:Spark+Kudu的广告业务项目实战笔记
    6篇
  • 剑指Offer
    6篇
  • hadoop
    7篇
  • java
    2篇
  • 区块链入门笔记
    12篇
  • 信号处理
  • 知识图谱入门笔记
    7篇
  • 区块链
    18篇
  • Python
    17篇
  • 算法
    2篇
  • 百度大脑
    3篇
  • 知识图谱
    11篇
  • 数据挖掘
    1篇
兴趣领域 设置
  • 大数据
    hadoophivespark
创作活动更多

如何做好一份技术文档?

无论你是技术大神还是初涉此领域的新手,都欢迎分享你的宝贵经验、独到见解与创新方法,为技术传播之路点亮明灯!

182人参与 去创作
  • 最近
  • 文章
  • 代码仓
  • 资源
  • 问答
  • 帖子
  • 视频
  • 课程
  • 关注/订阅/互动
  • 收藏
搜TA的内容
搜索 取消

排查java.net.MalformedURLException: Local host name unknown: java.net.UnknownHostException:***

java.net.MalformedURLException: Local host name unknown: java.net.UnknownHostException:***
原创
发布博客 2022.08.11 ·
377 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Angularjs get方法成功后不执行,Error执行

检查传入前端的内容是否是数组,如果是数组用get不接受,换成query接受即可。
原创
发布博客 2020.08.07 ·
425 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

WPS显示无法创建对象,请确认对象已在系统注册表中注册

写论文想插公式发现没法插入了,注册表又不知道改哪个,所以干脆:1.卸载WPS,不保留信息2.选择另一个不同的路径重新安装即可
原创
发布博客 2020.05.02 ·
9280 阅读 ·
0 点赞 ·
2 评论 ·
0 收藏

XGBoost4J-Spark 1.0.0运行流程与排坑指南

XGBoost4J-Spark配置全解0.前言1.确认版本2.Maven配置3.代码4.运行0.前言XGBoost4J-Spark能够让我们在Spark上玩XGBoost,对于海量数据来说应该是很有用的。这篇文章主要介绍了将其官网提供的Demo部署在Linux上运行的全过程。通过此Demo在Spark上用XGBoost完成iris数据集的多分类任务。此次选用的是最新的稳定版XGBoost4J...
原创
发布博客 2020.04.30 ·
2510 阅读 ·
4 点赞 ·
8 评论 ·
11 收藏

剑指OFFER思路总结与代码分享——动态规划篇(Java实现)

剑指OFFER动态规划相关47 礼物的最大价值63 股票的最大利润连续子数组最大和14-I 剪绳子注:顺序是先筛选分类再按LeeCode上的通过率排的,每题最后的总结代码都是在LeeCode上跑过的,应该没啥问题。但是思路中的代码都是直接在CSDN编辑器里徒手敲的,若有笔误还烦请告知,蟹蟹~47 礼物的最大价值做动态规划先找初始条件,再根据初始条件得到递推式,最后返回题目要求的那个值即可。...
原创
发布博客 2020.04.14 ·
336 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

剑指OFFER思路总结与代码分享——栈和堆篇(Java实现)

剑指OFFER栈和堆相关09 用两个栈实现队列30 包含min函数的栈注:顺序是先筛选分类再按LeeCode上的通过率排的,每题最后的总结代码都是在LeeCode上跑过的,应该没啥问题。但是思路中的代码都是直接在CSDN编辑器里徒手敲的,若有笔误还烦请告知,蟹蟹~09 用两个栈实现队列首先LinkedList有栈的功能,Stack继承自Vector,底层是用数组实现的,需要各种copyOf...
原创
发布博客 2020.04.11 ·
377 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

剑指OFFER思路总结与代码分享——数组和字符串篇(Java实现)

`@TOC注:顺序是先筛选分类再按LeeCode上的通过率排的,每题最后的总结代码都是在LeeCode上跑过的,应该没啥问题。但是思路中的代码都是直接在CSDN编辑器里徒手敲的,若有笔误还烦请告知,蟹蟹~03 数组中的重复数字第一反应是用HashMap做,反正啥玩意都HashMap一把梭,顺便说一个优雅的往HashMap里放key来计数的操作:map.put(i, map.getOrDe...
原创
发布博客 2020.04.10 ·
356 阅读 ·
0 点赞 ·
1 评论 ·
0 收藏

剑指OFFER思路总结与代码分享——链表篇(Java实现)

剑指OFFER链表相关22 链表中倒数第k个节点24 反转链表35 复杂链表的复制52 两个链表的第一个公共节点18 删除链表的节点注:顺序是先筛选分类再按LeeCode上的通过率排的,每题最后的总结代码都是在LeeCode上跑过的,应该没啥问题。但是思路中的代码都是直接在CSDN编辑器里徒手敲的,若有笔误还烦请告知,蟹蟹~22 链表中倒数第k个节点兄弟们做链表题不画图的都是在耍流氓,与其...
原创
发布博客 2020.04.10 ·
320 阅读 ·
0 点赞 ·
0 评论 ·
1 收藏

剑指OFFER思路总结与代码分享——树篇(Java实现)

剑指OFFER树相关55-1 二叉树的深度27 二叉树的镜像54 二叉搜索树的第K大节点32-II 从上到下打印二叉树注:顺序是先筛选分类再按LeeCode上的通过率排的,每题最后的总结代码都是在LeeCode上跑过的,应该没啥问题。但是思路中的代码都是直接在CSDN编辑器里徒手敲的,若有笔误还烦请告知,蟹蟹~55-1 二叉树的深度思路是使用递归,说到递归,立马写下如下思路:方法想要干...
原创
发布博客 2020.04.06 ·
564 阅读 ·
1 点赞 ·
0 评论 ·
1 收藏

剑指Offer 1-把字符串转换成数组

原题写一个函数 StrToInt,实现把字符串转换成整数这个功能。不能使用 atoi 或者其他类似的库函数。首先,该函数会根据需要丢弃无用的开头空格字符,直到寻找到第一个非空格的字符为止。当我们寻找到的第一个非空字符为正或者负号时,则将该符号与之后面尽可能多的连续数字组合起来,作为该整数的正负号;假如第一个非空字符是数字,则直接将其与之后连续的数字字符组合起来,形成整数。该字符...
原创
发布博客 2020.03.15 ·
262 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

大数据流处理(Spark Streaming + Kafka)面试常考考点

1.ackKafka Producer的参数,是把数据写到Kafkabroker里面去时需要的参数。常见的值有1、0、all(-1)。0:leader不做等待,只管发不管结果。延时性最低、持久性最差;1(默认):只要leader写数据到本地即可,不关注followers。当leader挂掉了可能会有数据丢失。延时性较低、持久性较高;all(或者-1):leader关注ISR(In-...
原创
发布博客 2020.03.13 ·
1532 阅读 ·
0 点赞 ·
0 评论 ·
5 收藏

Kafka偏移量(Offset)管理

1.定义Kafka中的每个partition都由一系列有序的、不可变的消息组成,这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序号,用于partition唯一标识一条消息。Offset记录着下一条将要发送给Consumer的消息的序号。流处理系统常见的三种语义:最多一次 每个记录要么处理一次,要么根本不处理 至少一次 这...
原创
发布博客 2020.03.12 ·
4387 阅读 ·
2 点赞 ·
0 评论 ·
13 收藏

【从0开始の全记录】Crontab+Flume+Kafka+Spark Streaming+Spring Boot 统计网页访问量项目

1.需求说明1.1 需求到现在为止的网页访问量到现在为止从搜索引擎引流过来的网页访问量1.2 用户行为日志内容2.模拟日志数据制作用Python制作模拟数据,数据包含:不同的URL地址->url_paths 不同的跳转链接地址->http_refers 不同的搜索关键词->search_keyword 不同的状态码->status_co...
原创
发布博客 2020.03.08 ·
1039 阅读 ·
2 点赞 ·
5 评论 ·
4 收藏

Spark Streaming整合log4j、Flume与Kafka的案例

1.框架2.log4j完成模拟日志输出设置模拟日志格式,log4j.properties:log4j.rootLogger = INFO,stdoutlog4j.appender.stdout = org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.target = System.outlog4j.appender....
原创
发布博客 2020.03.07 ·
313 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

解决Exception in thread "main" java.lang.NoClassDefFoundError: kafka/serializer/StringDecoder

问题出现在Spark Streaming连Kafka的Jar包上传到服务器用spark-submit运行的时候:如果在本地环境能够运行而去服务器报错,大概率原因是缺少两个jar包kafka_2.11-0.8.2.1.jar和metrics-core-2.2.0.jarjar包版本已你自己的为准,可以在IDEA你的项目里搜索(双击Shift开启全局搜索)这两个Jar包,上传到$SPARK...
原创
发布博客 2020.03.07 ·
3275 阅读 ·
3 点赞 ·
0 评论 ·
7 收藏

整合Spark Streaming与Kafka

1.Direct DStream(No Receivers)Spark 1.3中引入了这种新的无接收方“直接”方法,以确保更强的端到端保证。这种方法不使用接收者来接收数据,而是定期查询Kafka在每个主题+分区中的最新偏移量,并相应地定义每个批处理中的偏移范围。启动处理数据的作业时,Kafka的简单消费者API用于从Kafka读取已定义的偏移范围(类似于从文件系统读取文件)。请注意,该特性是...
原创
发布博客 2020.03.07 ·
375 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

分别用Push方式与Pull方式整合Flume与Spark Streaming

1.架构2.Flume配置在$Flume_HOME/conf下新建配置文件:flume_push_streaming.conf配置思路如下:source选择netcat,配置好主机名与端口 sink选择avro,配置好主机名与端口 channel选择memory 将source与channel连起来 将sink与channel连起来simple-agent.sour...
原创
发布博客 2020.03.06 ·
253 阅读 ·
1 点赞 ·
0 评论 ·
0 收藏

整合Flume与Kafka完成实时数据采集

1.架构2.Flume第一个Agent配置 -> exec-memory-avro.conf:exec-memory-avro.sources = exec-sourceexec-memory-avro.sinks = avro-sinkexec-memory-avro.channels = memory-channelexec-memory-avro.source...
原创
发布博客 2020.03.03 ·
551 阅读 ·
1 点赞 ·
0 评论 ·
2 收藏

Kafka入门指南

概述Kafka是一种消息中间件。Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tolerant, wicked fast, and runs in production in thousands of compa...
原创
发布博客 2020.03.02 ·
471 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏

Flume入门指南

FlumeApache Flume is a distributed, reliable, and available system for efficiently collecting, aggregating and moving large amounts of log data from many different sources to a centralized data sto...
原创
发布博客 2020.03.01 ·
162 阅读 ·
0 点赞 ·
0 评论 ·
0 收藏
加载更多