- 博客(101)
- 收藏
- 关注
RSS订阅原创 我的《海量数据处理与大数据技术实战》出版啦！
写作的过程中，我也认识了很多朋友，这些朋友中有技术很牛的阿里高级技术专家（P9级别），我们平时也天南地北的聊些技术话题，也有刚从学校出来工作的互联网新人，平时我也会向他们输出我的经验。之所以能写这么快，大概就是因为我有一个持续学习的好习惯吧，再加上在上学期间就养成的持续输出技术文章的习惯，基本上是一鼓作气的写完了全稿。期间，我也一路开挂式的写作，因为思路很清晰嘛，咱们的这位王编辑做事情也是很高效的，跟她配合起来效率就是高。就这样，我一路开挂式的写作，原本定的5个月的写作时间，只用了不到两个半月就写完了！
2024-05-01 06:17:54
373
原创 【数据科学项目02】：NLP应用之垃圾短信 邮件检测（端到端的项目）_短消息分析 nlp
经过上面分析，我们可以得出结论，垃圾短信文本与非垃圾短信文本相比具有更多的单词和字符。
2024-04-30 11:18:39
678
原创 【数据库】03——初级开发需要掌握哪些SQL语句_数据库初级开发(1)
由于where子句中的谓词可以对比较结果进行andor和not的布尔运算，因此这些布尔运算的定义也被拓展成可以处理unknown值。tips:尝试理解上面的规则。不用死记硬背。可以使用is null和来判空和判非空。还可以使用is unknown和来判断一个比较运算的结果是否为unknown,例如注意，在使用时。重复元素如果都是空，会被判为相同去重。这与谓词中的处理有区别，因为在谓词中会返回unknown。
2024-04-30 11:17:36
803
原创 【数据库】01——精通数据库需要掌握这九个维度_数据库要掌握哪些技术
数据库管理系统就是由互相关联的数据集合和一组用于访问这些数据的程序组成，简称数据库。即，数据库=数据+程序。数据库的目标就是方便、高效、安全的存储、管理数据信息。数据库的定义语言DDL与数据库的操作语言DML都是数据库系统的操作语言，他们都是SQL语言的一部分，关系型数据库几乎都使用SQL语言。数据定义语言DDL用来进行数据存储和定义。域约束。如，整数型、字符型、日期、时间等。引用完整性。一个course中记录的dept_name必须出现在department关系中某个记录的dept_name属性中。
2024-04-30 11:17:05
543
原创 【数据库】01——精通数据库需要掌握这九个维度_数据库要掌握哪些技术(1)
数据库的定义语言DDL与数据库的操作语言DML都是数据库系统的操作语言，他们都是SQL语言的一部分，关系型数据库几乎都使用SQL语言。数据定义语言DDL用来进行数据存储和定义。域约束。如，整数型、字符型、日期、时间等。引用完整性。一个course中记录的dept_name必须出现在department关系中某个记录的dept_name属性中。授权。不同的用户在数据库中的不同数据值上允许不同的访问类型。常见的是，读权限，插入权限、更新权限、删除权限。DDL的输出会被放在数据字典中，数据字典也包含。
2024-04-30 11:15:20
409
原创 Liunx基础-yum源配置与应用（本地 网络）_error package 2 vim-enhanced-7(1)
(img-6vlH9rvV-1714413864568)](img-IeyWVAzt-1714413864569)](img-uszYCShj-1714413864570)]Install 安装指定软件包，类似“rpm -i”remove 安装指定软件包，类似“rpm -e”格式：yum -y install [软件名]yum info 软件名…-y 当安装过程提示选择全部为"yes"格式：yum remove [软件名]格式：yum list [软件名]功能：生成本地yum缓存。
2024-04-30 02:05:02
226
原创 Kafka面试题1
首先，发送到 Kafka Broker 上的消息，最终是以 Partition 的物理形态来存储到磁盘上的。（如图）而Kafka 为了保证Parititon 的可靠性，提供了 Paritition 的副本机制，然后在这些Partition 副本集里面。存在Leader Partition 和Flollower Partition。生产者发送过来的消息，会先存到 Leader Partition 里面，然后再把消息复制到 Follower Partition，
2024-04-30 02:03:59
341
原创 Kafka面试题1(1)
首先，发送到 Kafka Broker 上的消息，最终是以 Partition 的物理形态来存储到磁盘上的。（如图）而Kafka 为了保证Parititon 的可靠性，提供了 Paritition 的副本机制，然后在这些Partition 副本集里面。存在Leader Partition 和Flollower Partition。生产者发送过来的消息，会先存到 Leader Partition 里面，然后再把消息复制到 Follower Partition，
2024-04-30 02:03:27
187
原创 Kafka架构及存储机制_kafka文件存储机制
我们简单介绍一下每一个概念的具体含义：Producer（生产者）：生产消息的一方，向Kafka实例推送消息的客户端。Consumer（消费者）：消费消息的一方，从Kafka实例拉取消息的客户端。Consumer Group（消费者组）：Kafka消费信息是按消费者组来的，一个消费者组内包含多个消费者，这些消费者共享一个组idBroker（代理）：一个独立的Kafka实例。多个Kafka实例（broker）组成一个Kafka集群。Topic（主题）：同类消息的集合是逻辑概念。
2024-04-30 02:02:23
344
原创 面试官：跨库多表存在大量数据依赖问题有哪些解决方案
而且，依赖商品这个核心服务的服务实在是太多了，也就导致后续商品服务每次更新商品时，都需要调用更新订单冗余数据、更新采购冗余数据、更新门店库存冗余数据、更新运营冗余数据等一大堆服务。数据一致性问题：如果订单与采购的冗余数据更新失败了，整个操作都需要回滚。前面我们讲了采购、订单及其他服务都需要依赖商品数据，因此每个服务需要将冗余数据的订阅、更新逻辑做一遍，最终重复的代码就会很多。商品作为一个核心服务，依赖它的服务越来越多，同时随着商品数据量的增长，商品服务已不堪重负，响应速度也变慢，还存在请求超时的情况。
2024-04-29 06:08:31
536
原创 面试官：设计模式是什么？_面试题 谈谈对设计模式的理解(1)
今天我将头发梳成大人样，穿上一身帅气西装，并不是我闲的某个地方疼了，而是今天我又要去面试了。七月的京城最高温度已经接近40摄氏度，但还是不能够捂热我那被面试官拒绝后凉透的心。顶着炎炎烈日我来到了约定的面试地点，看着面前这宏伟的建筑，感觉这次面试又稳了（稳挂）。进入大厦被接待人员领到指定的会议室，接待人员说他们李总正在开会，一会过来给我面试，顺便给我倒了一杯水，让我稍作歇息。
2024-04-29 06:07:28
828
原创 面试官：设计模式中的桥接模式是什么？_前端面试题什么叫桥接
文章中涉及到的命令大家一定要像我一样每个都敲几遍，只有在敲的过程中才能发现自己对命令是否真正的掌握了。回复【项目】有我为大家准备的一些项目源码。回复【简历模板】有我为大家准备的简历模板。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！
2024-04-29 06:06:57
818
原创 面试官：设计模式中的原型模式是什么？_面试什么是原型(1)
System.out.println(“学生对象是否相同：”+ (t_proto.getStudent() == t_new.getStudent()));System.out.println(“老师对象是否相同：”+ (t_proto == t_new));//调用深克隆方法创建克隆对象。//比较老师中的两个学生是否相同。//比较两个老师对象。
2024-04-29 06:05:53
223
原创 大数据分析-零基础学Tableau+超详细讲解+示例练习（三）
动态气泡图绘制，在动态气泡图绘制时要把时间维度加上，根据情况选择是否选择轨迹，选好横纵坐标轴，右边可以设置循环速度。可以用智能推荐的方式（或者将标记设置为方形）快速创建凸显表，凸显表的本质也是表格，用表格表达数据的一种方式。词云图的绘制时从气泡图开始的，我们绘制好气泡图之后，将标记改为文本即可生成词云图。大小表示的是记录数的总计，颜色越深票房越高，可以通过智能推荐来绘制树形图。将渐变颜色设置为2阶，勾选倒序排序，并根据需要设置中心。气泡的大小代表电影数量的多少，颜色代表不同的类型。
2024-04-28 17:08:29
198
原创 大数据分析-零基础学Tableau+超详细讲解+示例练习（七）
*扩展现有角色：**是对现有的地理角色的补充，Tableau默认是只识别人口在10000以上，并且政府公开信息的城市，因此内置的城市是不够完整的，可以通过扩展来实现点击上面“地图”.双击经度、维度-在分析中取消聚合度量-将“标记”设置为多边形-将“点ID”放入“路径”-将“公园名称”放入“颜色”-可以根据自己的情况设置地图层，让其显示出我们想要的效果。Tableau 默认带了对字段的数据分层，例如日期，可以分成年、月、日，，基于地理均码，数据文件绘制一个多边形的区域，实现自定义的填充地图。
2024-04-28 17:07:58
386
原创 大数据入门（一）
1）Sqoop：Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库（MySQL）间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。2）Flume：Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；7）Hbase：HBase是一个分布式的、面向列的开源数据库。用于实时计算的场景较多。
2024-04-28 17:05:36
238
原创 大数据入门系列 4：全网最全，伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析_ubuntu下安装hadop
Apache Hadoop 的 2.7 版和更高版本需要 Java 7。它是在 OpenJDK 和 Oracle（HotSpot）的 JDK / JRE 上构建和测试的。对于 Hadoop 的伪分布式和全分布式而言，Hadoop 的名称节点（NameNode）需要启动集群中所有机器的 Hadoop 的守护进程，这个过程可以通过 SSH 登陆来实现。对于伪分布式，仅需修改 core-site.xml、hdfs-site.xml 文件，详细修改如下。
2024-04-28 17:05:05
861
原创 Python Pandas PK esProc SPL，谁才是数据预处理王者？
取DataFrame data的成员时，只能用函数iloc（或loc），而取list f123的成员时，可以直接用下标，两者都是集合，但用法大相径庭，只因为DataFrame不是原生类库，语言整体性较差，无法像原生类库那样享受简洁的语法规则。SPL只有两种集合，序列（类似List）和序表，前者是后者的基础，后者是有结构的前者，序表分组后的集合是序列，两者关系清楚泾渭分明转化容易，学习和编码的成本都很低。多层数据是二维数据的一般形式，序表同样擅长表达二维数据，不需要额外的标准化动作，直接就能计算。
2024-04-28 02:13:55
606
原创 Python Flask框架-开发简单博客-定义和操作数据库_flask创建数据库(1)
开发的个人博客，计划使用SQLite 数据库来储存用户和博客内容。Python 内置了 SQLite 数据库支持，相应的模块为 sqlite3如果你不是很熟悉 SQL ，请先阅读SQLite 官方文档，不用精通，能使用即可。计划建两个表分别为user表和post表,sql表文件保存路径为。
2024-04-28 02:12:52
853
原创 PySpark数据分析基础：PySpark Pandas创建、转换、查询、转置、排序操作详解_pyspark
时至如今Pandas仍然是十分火热的基于Python的数据分析工具，与numpy、matplotlib称为数据分析三大巨头，是学习Python数据分析的必经之路。Pandas提供了大量能使我们快速便捷地处理数据的函数和方法，它是使Python成为强大而高效的数据分析环境的重要因素之一。因此我们做分布式数据分析也同样离不开Pandas的支持。
2024-04-28 02:12:21
306
1
原创 大数据测试学习笔记之监控工具Dr
一句话介绍：Dr.Elephant是Apache Hadoop和Apache Spark的job级和工作流级性能监视和调优工具。由Linkedin开源贡献，github地址为：定位：成一个对Hadoop和Spark任务进行性能监控和调优的工具，能够自动收集Hadoop平台所有的度量标准，并对收集的数据进行分析，并将分析结果以一种简单且易于理解的形式展示出来。
2024-04-27 12:22:23
287
原创 助力工业物联网，工业大数据之服务域：AirFlow的架构组件【三十二】_airflow大数据组件(2)
Task类型：http://airflow.apache.org/docs/apache-airflow/stable/concepts/operators.html常用。
2024-04-27 10:27:12
644
原创 【秋招冲刺-每日打卡】应届生JAVA岗-每日5道高频面试题【Day3】-基础篇(3)(2)
s1 = “hello”则表示直接到常量池中查询,有则返回地址,没有则创建新的再返回地址(所以:如果常量池中存在,则不创建对象,不存在则创建一个对象)
2024-04-27 08:20:35
1000
原创 【Kafka从成神到升仙系列 四】你真的了解 Kafka 的缓存池机制嘛_kafka服务端会主动把数据放入缓存吗
初学一个技术，怎么了解该技术的源码至关重要。对我而言，最佳的阅读源码的方式，那就是：不求甚解，观其大略你如果进到庐山里头，二话不说，蹲下头来，弯下腰，就对着某棵树某棵小草猛研究而不是说先把庐山的整体脉络研究清楚了，那么你的学习方法肯定效率巨低而且特别痛苦。最重要的还是慢慢地打击你的积极性，说我的学习怎么那么不 happy 啊，怎么那么没劲那，因为你的学习方法错了，大体读明白，先拿来用，用着用着，很多道理你就明白了。先从整体上把关源码，再去扣一些细节问题。
2024-04-27 06:26:15
531
原创 Web基础与HTTP协议(1)
IP地址不易记忆定义:标识一 组主机并提供它们的有关信息的树形结构域名服务器(分布式，每台主机维护一个部分) :(1)保持和维护域名空间的程序(2)响应解析器的请求解析端(客户端)向DNS服务器发出请求的设备Web (world Wide Web) 即全球广域网，也称为万维网一种分布式图形信息系统建立在Internet上的一种网络服务。
2024-04-27 04:43:10
926
原创 JQuery 入门 - 附案例代码_jquery前端开发实战教程案例源码
jQuery选择器是jQuery为我们提供的一组方法，让我们更加方便的获取到页面中的元素。注意：jQuery选择器返回的是jQuery对象。jQuery选择器有很多，基本兼容了CSS1到CSS3所有的选择器，并且jQuery还添加了很多扩展性的选择器。【查看jQuery文档】jQuery选择器虽然很多，但是选择器之间可以相互替代，就是说获取一个元素，你会有很多种方法获取到。所以我们平时真正能用到的只是少数的最常用的选择器。/\*\* 自定义动画\* 参数1：需要做动画的属性。
2024-04-27 02:33:39
864
原创 Eolink——一条龙服务提升团队效率【国产API神器】_一条龙团队(1)
Eolink是个啥？它又是干啥的？官方网站。Eolink API研发管理平台是一个集API文档管理与快速测试于一体的API协作研发平台，属于Eolink API全生命周期管理产品生态中的重要基石。
2024-04-27 00:54:37
859
原创 Hadoop 数据仓库建设实践（理论结合实践）_hadoop完成数据预处理、建立数据仓库、进行数据分析和数据导出(2)
开发规范主要用于规范和约束数据开发人员和使用人员的习惯，以最大限度地降低数据的使用风险，并同时保证用户遵守最佳实践 毕竟数据代码并不仅是给自己看的，很多时候也需要供他人阅读和参考， 尤其是处理问题的时候。数据仓库层的数据是 ODS 层数据经过 ETL 清洗、转换、加载生成的。DW 层的数据一定是清洗过的、干净的、一致的、规范的、准确的数据。对于一个公司或者组织来说，使用数据的用户可能成百上千，如何降低大家对于数据使用的沟通成本、如何通过规范大家的行为来降低使用数据的风险，这些问题是必须加以考虑的。
2024-04-21 21:41:44
1013
原创 hadoop 启动的时候datanode报错 Problem connecting to server_warn org
可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！其实问题就再这里，hadoop启动的时候只监听了127.0.0.1一个端口，而不是192.168.10.22:9000。其实根本原因还是无法连接到192.168.10.22:9000 相应ip的相应端口。其实主要问题就在标红的部分，只要将hadoop1去掉即可。
2024-04-21 21:40:11
670
原创 hadoop 启动的时候datanode报错 Problem connecting to server_warn org(1)
可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！其实问题就再这里，hadoop启动的时候只监听了127.0.0.1一个端口，而不是192.168.10.22:9000。如果你已经检查了datanode以及namenode的连通性，ip都正确，但是仍然没法解决问题，那么可以接着往下看了。其实主要问题就在标红的部分，只要将hadoop1去掉即可。
2024-04-21 21:39:40
844
原创 物联网省 国赛AIOT智能家居全流程演示_物联网省赛设备，由浅入深
使用 cd ~/ha_env 命令返回到 ha_env 目录，用 nano 命令编辑 HA 的配置文件，第一次，启动 HA 后，在 ha_env 目录下，会出现 haconfig 子目录。如果看不到设备，请回头检查 HA 的配置参数是否正确，仿真设备的序列号是否唯一，重新配置。其余传感器设备操作同理，同时将各个传感器的参数设置为随机数，这里不过多演示！打开实验终端，在ha_env下docker目录中输入以下指令，检查运行状态。根据此表，修改设备对应的中文名，点击设备，选择右上角的齿轮，修改名称。
2024-04-18 13:05:05
292
原创 牛客网刷题记录 第一番_牛客网编程题通过后的界面，2024年最新2024年华为大数据开发面试真题解析
利用循环计算每次反弹时的高度（记为h），以及经过了多少米（记为temp），由于要输出的是第n次落地时走了多少米，所以temp要减去最后反弹的高度h。这个牛牛排序，就是一个数组排序问题，用到了冒泡排序一个很关键和实用的排序方法，for循环控制一下输入输出就ok了，相信大家都能看懂的。一球从 h 米高度自由落下，每次落地后反跳回原高度的一半再落下，求它在第 n 次落地时共经过了多少米？输出小球第 n 次 落地时经过的距离和第 n 次反弹的高度（保留小数点后1位）在控制台输出所有的“水仙花数”
2024-04-18 13:02:48
226
原创 安装docker后电脑没有网络了，冲刺7天拿下Offer！_windows安装docker desktop导致宿主机网络无法访问(1)
对于很多Java工程师而言，想要提升技能，往往是自己摸索成长，不成体系的学习效果低效漫长且无助。网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化的资料的朋友，可以添加V获取：vip204888 （备注鸿蒙）一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
2024-04-18 07:45:57
664
原创 安卓转鸿蒙应用开发难吗？_安卓开发转鸿蒙开发难吗，2024年最新HarmonyOS鸿蒙简历项目经验
内容包含了：ArkTS、ArkUI、Stage模型、多端部署、分布式应用开发、音频、视频、WebGL、OpenHarmony多媒体技术、Napi组件、OpenHarmony内核、Harmony南向开发、鸿蒙项目实战等等技术知识点。这套资料结合鸿蒙官方发布笔记，经过多次的反复整理修改，最终整理出了这份精选版的鸿蒙学习笔记资料。还有配置文件，UI开发模式，以及鸿蒙官方指导都能在安卓找到类似的，在这里就不一一举例出来了。我们只需要知道在安卓上有的概念，就可以在鸿蒙官方文档中去找一下对应的文档，
2024-04-18 07:44:56
672
原创 农民工看完都学会了！音视频学习指南来咯，威力加强版，2024年最新面试的教程
blockingqueue ，concurrenthashmap，信号量，countdownlatch，cyclicbarrier，exchanger等，stringbuffer。又隔了两天，阿里的HR打电话让我去指定地点面试，心里有点紧张，因为想给马云打工的人太多，竞争激烈程度可想而知。5：是否熟悉Lopper架构，如果熟悉说下其原理，如果你自己实现，你会怎么实现。4：对象锁和类锁是否会互相影响，会举例子让你判断锁的使用是否恰当，并说出原因。8：ActivityThread，Ams，Wms的工作原理。
2024-04-18 02:28:33
262
原创 写给程序员的Flutter详细教程，最全的BAT大厂面试题整理_flutter 实现插件的面试题
阿里P8大佬每天熬夜到凌晨一两点，花了将近半个月时间将Android热修复框架、插件化框架、组件化框架、图片加载框架、网络访问框架、RxJava响应式编程框架、IOC依赖注入框架、最近架构组件Jetpack等等Android第三方开源框架整合成了一套系统知识笔记PDF，长达1042页！随着互联网企业的不断发展，产品项目中的模块越来越多，用户体验要求也越来越高，想实现小步快跑、快速迭代的目的越来越难，还有65535，应用之间的互相调用等等问题，插件化技术应用而生。
2024-04-18 02:27:32
278
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人