- 博客(74)
- 资源 (1)
- 问答 (5)
- 收藏
- 关注
RSS订阅原创 python 初学攻略（下）
’'在函数调用过程中，进行参数的传递：如果是不可变对象，在函数体的修改不会影响实参的值 arg1的修改为100，结束后不会影响n1的值。如果是可变对象，在函数体的的修改会影响到实参的值n2就会多一个10的参数 斐波那契数列bug注意「要搞软考，去做题去了，可能要等周六时间才会跟新」
2025-03-11 16:45:37
191
原创 Storm实时流式计算系统（全解）——下
根据以上条件可以只写一个类，我们只需要写2个方法和一个main（），一个读取/发射（spout）。从上我们大数据的storm就说完了，下次再见，一起学习AI吧！一个拿到数据统计后发到redis（bolt）然后输出到redis。
2025-03-02 13:34:21
264
原创 Storm实时流式计算系统（全解）——中
实现Bolt组件，这是我的第三个组件（Bolt组件继承BaseBasicBolt）所有重写内部的方法，用于接收上一个Bolt数据（phone-name），数据做一次次处理（加上时间）。实现Bolt组件，这是我的第二个组件（Bolt组件继承BaseBasicBolt）所有重写内部的方法，用于接收spout数据（phone-name），数据做一次次处理（转化大写）。这是我的第一个组件（spout组件继承BaseRichSput）所有重写内部的三个方法，用于接收数据（这里数据是先造的）和数据传出。
2025-03-01 19:03:01
333
原创 Storm实时流式计算系统（全解）——上
官方网址：http://storm.apache.org/tApache Storm 是一个免费、开源的分布式实时计算系统。使用它可以轻松实现数据流的实时处理。Strom很简单，可以用任何编程语言！Storm 用例：实时在线分析，机器学习，连续计算，分布式 RPC，ETL 等。Strom特点：快速：基准时钟在超过一百万元组每秒处理的每个节点。简易的设置：有可扩展性、容错性，保证了数据的处理能力，并且易于设置和操作。
2025-02-28 17:25:29
303
原创 Sqoop从入门到使用
修改文件配置：修改文件名将（sqoop-env-template.sh改为sqoop-env.sh）编辑sqoop-env.sh内部文本，修改调用文件位置将sqoop-env.sh，配置到全局变量中，方便调用。查看正常运用。
2025-02-26 18:19:13
440
原创 Hbase分布式——储存机制
注：Table在行的方向上分割为多个HRegion，HRegion是HBase中分布式存储和负载均衡的最小单元，即不同的HRegion可以分别在不同的HRegionServer上，但同一个HRegion是不会拆分到多个HRegionServer上的。HRegion按大小分割，每个表一般只有一个HRegion，随着数据不断插入表，HRegion不断增大，当HRegion的某个列簇达到一个阀值(默认256M)时就会分成两个新的HRegion。每一个HRegionServer上管理着表的HRegion「注」。
2025-02-26 09:51:11
315
原创 Hbase客户端API——语句大全
验证：由于当时插入时是int值，所有返回回来的时候用int类型转码就会乱码。修改代码（结论：scan的查询时含头不含尾）列值过滤器（有点像sql里的like）验证：（过滤器特性会导致以下情况）换一个比较器查看效果。以上就是过滤器的使用。
2025-02-25 18:03:30
316
原创 hbase集群部署
虽然Hmaster有多个，但是属于热备，起作用的就active上的这个。在启动hbase的时候，一定要先确定zk和hdsf，都已经起来了。因为我配置的hadoop是一个非HA的，所以修改为以下。如果是HA的hadoop一定要做以下这一步。1.hbase集群的搭建（以及内部逻辑）在这个时候可以启动多个master。
2025-02-24 11:34:02
314
原创 Hadoop-HA集群部署
配置免密登陆：（这里示范的是第一台服务器，其余的操作一样），免密登陆是为了执行脚本统一操作，启动，如（hdfs集群：1上启动2.5.6.7）（yarn，3上启动4567）1.如上图：两台hdfs的nameservice我将他们和在一起命名——ns1。ZOOKEEPER的配置自己去看前面的文章，装到（5.6.7）三台服务器上去。在6.7两台服务器上修改myid为2和3.这样你的 3台zk就都配置好了。以下是日志的配置JournalNode，和zkfc的自动切换。配置mapreduce的框架为yarn。
2025-02-21 16:07:21
406
原创 YARN的工作机制及特性总结
1. yarn只响应job的提交及为job的运行分配资源，yarn不参与job的具体运行机制和流程。3.由于yarn不参与用户程序的具体运行，所以yarn可以为各种类型的应用程序提供资源服务。6、因为yarn可以整合各种运算框架，企业就可以把各种分布式框架整合到hadoop集群。1. resourcemanager 主节点master ----只需要1个来工作。hadoop的资源管理调度平台（集群）——为用户程序提供运算资源的管理和调度。5. 图为yarn的这种平台特性，延长了hadoop的生命周期。
2025-02-21 09:00:28
186
原创 Hadoop-HA（高可用）机制
一旦active上zkfc的发现异常后，会告诉知另一台zkfc，另一台收到后就会用自己的进程，做一个状态的切换。相应其他程序，同时跟新zookeeper里的换掉。然后当standsy不知道也去注册了，就会同时出现2个active。这个时候：standby就会直接发送ssh的指令（kill -9 ****）过去，直接杀这个active进程。如果没有及时得到成功的返回，就会再调用（用户提供的shell脚本程序）这个是用户自己定义的。3.状态管理使用zkfc，每个zkfc监控自己的服务，出问题就通知对方，
2025-02-20 16:50:44
329
1
原创 Zookeeper应用案例-服务器列表动态更新实现
以上可以看到，服务端的注册，和客户端调用。通过zk监控回调，实时动态感知！具体代码逻辑如下创建zk客户端（节点可以自己先把父节点建好）我这里是：“/servers”模拟服务功能调用并且注册监听（这里的参数给你本地的服务器名称。
2025-02-19 10:18:37
396
原创 ZooKeeper的 一些小技巧方法（监听器）
以上的监听只能做一次，如果需要每次都监听到需要在创建zk的时候使用new watcjer（）重写process(WatchedEvent event)方法，再次加上监听，这样就可以持续监听该节点（znode）。
2025-02-18 15:59:20
232
原创 2025年第一篇文章，和大家
科技这一块，确实不如国外，尝试过不同步的人工成本替代方案后我看到的未来时，所谓的高级，或者架构，也许不需要那么多，部分中级的人，可以在人工ai的辅助下完全胜任高级的工作，部分难点，也可以通过（原来有3个高级，裁员只剩下的那个搞定）。作为一个中级完全公用，线程优化，高并发数据优化，架构，组件，插件倒入调用。下不来：指的是在达到30多岁后成家，有房贷车贷，老婆孩子，每个月有固定支出，就算没有以上的，家里还有2位老人，一旦生病，还是需要大笔钱的投入和后期治疗，每个月金钱投入下不来）。然后在到阿里外包，再到现在。
2025-01-03 11:00:55
372
原创 Linux系统（X64）安装Oracle11g完整
一、修改操作系统核心参数在Root用户下执行以下步骤：1）修改用户的SHELL的限制，修改/etc/security/limits.conf文件输入命令：vi /etc/security/limits.conf，按i键进入编辑模式，将下列内容加入该文件。oracle soft nproc 2047oracle hard nproc 16384oracle s...
2024-08-22 14:45:01
293
原创 钉钉扫码登录，sdk问题
1.钉钉扫码登录，网上代码一大堆，但是小同学在抄的时候突然问我，为啥jar包倒入不了。pom添加了，镜像也是阿里的，还是不行。4.执行语句（看清楚我标红的地方，要和你的pom对上），不行就看看上图。1.先知道你是做哪一块的业务：（一般就这三快）然后直接拉入项目（看清楚文件夹），5.执行maven，然后你的包就打入好了。别问我为啥会写这玩意。下载了包，按这个放啊发去操作就好了。
2024-03-12 10:07:49
647
原创 阿里云k8s内OSS报错UnKnownHost。
这个要是不通的话就要修改k8s的配置文件（如果显示没有ping这个语法）就要在打docker包的时候加进去。（加到dockerFile里）在服务器（ecs）上直接ping oss地址看是否能够通。不通就要修改dns和hosts（这个不说，自己网上查）进去ping一下你的容器是否能访问到oss。主要格式，改好了，点击确定，即时生效。修改k8s的地方如图。
2024-03-08 10:55:06
1663
原创 30岁老人谈谈这大半年的时期和感受
35岁的壁垒在逐渐下降，现在30，都有壁垒了，市场在缩紧，尤其是互联网市场，技术跟新出现核心技术，ai+gpt是主流。用他们自己的话说：我不管你们外包做的好不好，对公司我要表现出我努力做事，对客户我要客户多买我们的其他产品，哪怕现在的够用，对外包，他们都外包而已都要听话的，不听话的提回资源池。这半年的我，加入了一个省内的项目，具体包括华为云，奇安信，海康，等一堆公司的合作项目，当然都是为具体都是帮人民做事“不能透露系统”。跳槽可以，但是已经不是4年前了，没有一定的基础，培训就出去了，基本没啥希望了。
2024-02-04 14:39:36
427
原创 浙政钉访接口：k8s+slb容器日志报错（：Temporary failure in name resolution。）
这个时候你就要知道是阿里那的k8s问题。还很吊的样子表示不是他们的问题。我们文明人先确定一件事就是，你代码本地能调用到浙政钉返回。这时候和你说要开通白名单的，请放开你的道德束缚“这哥们要是阿里的，请帮我用祖安话问候他”。在此我只能说兄弟，浙政钉的扫码接口和用户详情返回这两个接口是不需要白名单的，如果他还说不知道：请私信我。想看看是位阿里运维，或者是那个外包。当你看到了这个文件，说明你已经成功一大半。这个时候你就要去改你k8s的host了。问一下阿里的人哪里修改。ip :域名(浙政钉域名)
2024-02-04 11:29:59
566
原创 liunx服务器下vim无法:wq解决方案
然后在，直接sudo vim /ect/xxx，还出现第一幅图就直接选e，然后：wq。当你vim某一个文件是，由于其他人在操作，或者上次操作中断，造成的。解决方案，不要，vim -r /etc/****，不然你会得到。
2024-02-02 16:57:46
1974
gcc.zip里面是所有安装包
2019-09-23
Bootstrap+H5做出以下流程图
2017-08-21
baoService service = new Service();
2018-07-02
ooracle server bus 乱码
2018-07-23
SQL多表关联嵌套子查询同比环比
2017-08-10
求miniUI做的扇形图实例
2017-08-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人