- 博客(16)
- 收藏
- 关注
RSS订阅原创 数据库相关的5种sql对比
对比详情MapreduceVs Spark1) MapReduce能够完成的各种离线批处理功能，以及常见算法（比如二次排序、topn等），基于Spark RDD的核心编程，都可以实现，并且可以更好地、更容易地实现。而且基于Spark RDD编写的离线批处理程序，运行速度是MapReduce的数倍，速度上有非常明显的优势。
2024-02-20 10:36:05
1080
原创 kafka基础知识
即producer写入新消息后 不会立即消费，leader会等待该消息被所有副本都同步后，再更新高水位线位置，这样consumer才能消费producer新鞋入的消息。如果写入失败，会返回一个错误。大多数情况下，消息会正常到达，不过一旦失败，produer会自动重试，但若出错了，服务器是无感知的。特殊说明：当consumer最新写入的消息未达到备份要求时，即写入的消息未达到冗余度要求时，consumer是不可见的，只可消费到水平线的位置。1）队列，可多个生产者，1个消费者，消费者请求队列，才可获取消费。
2024-02-19 19:07:59
891
1
原创 Mac，openssl版本不对
问题：redis-clidyld: Library not loaded: /usr/local/opt/openssl@1.1/lib/libssl.1.1.dylibReferenced from: /usr/local/bin/redis-cli解决
2022-06-07 11:58:02
3726
1
原创 python脚本封装成接口且，由前端平台调用
步骤：二、【kafka生产者脚本封装】案例实现：1、编写前端平台代码。react语言2、搭建后端服务(flask轻便)，编写服务端代码，封装脚本为接口调用方式，postman调试接口请求OK，达到预期效果。python实现。注意事项：1）服务端的端口号不与前端 及平台的其他服务重复。3、前后端联调。方法：1）前端调用时，后端服务加调试代码，保证postman传入的参数 与前端传入的参数格式 给接口的是一致的。2）前端鼠标右键 【检查】可看到 前后端参数传递情况。注意事项：
2022-04-08 16:50:25
4339
原创 kafka幂等
import asyncioloop = asyncio.get_event_loop()import jsonfrom aiokafka import AIOKafkaProducerimport timelocaltime = int(time.time())async def send_one(): producer = AIOKafkaProducer( # kafka集群地址 loop=loop, bootstrap_servers='？::.
2022-01-10 14:46:46
637
原创 kafka压测，生产者多进程异步批量 循环生产用户
#!/usr/bin/env python# -*- coding: utf-8 -*-import mathimport randomimport timeimport jsonimport base64import sysimport osimport numpy as npfrom aiokafka.producer import AIOKafkaProducerimport asyncioloop = asyncio.get_event_loop()import asyn.
2022-01-10 14:42:57
998
原创 unitest转pytest
#! /usr/bin/env python# -*- coding: utf-8 -*-"""------------------------------------------------- File Name： Description : Author : date： level ： 1------------------------------------------------- Change.
2021-11-25 19:02:31
205
原创 spark 常用转换和行动操作
1、转换操作：任意数据类型的RDD.map()：接收一个函数,并将函数用于RDD中的每一个元素，将函数返回结果作为RDD中对应的元素值。返回类型不需要和输入类型一样。如：url集合中每个对应url的主机名输出。filter()：接收一个函数，并将RDD中满足该函数的元素放入新的RDD中。如输入string，输出double类型。flatmap():每个输入元素，生成多个输出元素。返回一个返回值序列的迭代器，不是由迭代器组成而是一个包含各个迭代器可访问的所有元素的RDD.如：把输入的字
2021-10-17 17:27:05
3064
原创 jenkins链接git，运行python脚本，发送html报告
jenkins接入项目：一、创建工程首页》新建任务》输入工程名称，选择“构建一个。。。”》点击 确定。二、拉git代码，ssh链接gitlab，jenkins服务器生成一个sshkey，全局密钥给gitlab，私钥给jenkins配置全局凭据。然后 jenkins选择gitlab地址，选择jenkis刚配置的用户凭证即可。详情如下：设置源码管理在源码管理下，选择GitRepository URL指代码仓库地址，复制Github仓库的地址填入即可。SSH方式链接的，使用SSH
2021-10-11 16:14:29
817
转载 html报告展示： You need to enable JavaScript to run this app.
生成的HTML测试报告显示格式不对,或者无法展开1)解决办法:系统管理->脚本命令行->执行命令:System.setProperty("hudson.model.DirectoryBrowserSupport.CSP", "")2)我使用的是chrome浏览器,重新构建后,查看新生成的报告格式正确转载于：jenkins运行脚本生成HTML报告时遇到的问题_weixin_30593443的博客-CSDN博客2.job中构建后操作的配置1)HTML director
2021-10-10 17:52:37
6658
原创 jenkin的html报告生成失败，a bytes-like object is required，not str
-----终极解释：jenkins找不到xunit-viewer等等均为jenkins配置问题。构建命令行 添加echo `which xunit-viewer`构建报新错误：/tmp/jenkins7176770036381447749.sh: line 10: syntax error: unexpected end of file解决方案1:构建脚本添加：#!/bin/sh错误依然在解决方案2:构建环境设置：运行的脚本 命令括号是中文了，修正即...
2021-10-10 17:46:53
184
原创 遇到的错误 ，好多呀？怎么弄
[[source]]name = "pypi"url = "https://pypi.python.org/simple"verify_ssl = true[dev-packages][packages]requests = "*"python-dateutil = "*"beautifulsoup4 = "*"parameterized = "*"unittest-xml-reporting = "*"aiohttp = "*"kafka-python = "*"aioka.
2021-10-09 17:29:29
255
原创 pipenv入门
Usage:pipenv[OPTIONS] COMMAND [ARGS]...Options: --where Output project home information. --venv Output virtualenv information. --py Output Python interpreter informa...
2021-09-10 00:53:32
159
原创 linux下安装python3和pip3
在macOS下连接虚拟机ssh 虚拟机名称账号/密码：1、查看Linux是否已安装python：ll /usr/bin/pyth*2、查看当前使用python版本：python --version（Linux一般默认安装python2.7）结果：未安装过3、新建安装目录：mkdir /usr/local/python394、下载python安装包：wgethttps://www.python.org/ftp/python/3.9.2/Python-3.9.2.tgz5、解压缩..
2021-09-07 21:37:52
867
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人