dreamingfish2011的博客

原操作系统为 10.14.*，因安装别的软件失败，不想去找旧版本了，所以把OS直接升级到最新版的14.1啦，升级后就一个字“爽！”，but 各种兼容问题也就来啦，解决吧，今天写MacOS 14.1 配置kerberos认证。需要用自带的safari浏览器，经修改配置测试Google浏览器偶尔好用偶尔不行，太麻烦了。位置和配置如图所示，添加身份和密码即可链接。该文件放到/etc下。

需求每天定时批量刷新大量数据进RedisRedis集群是哨兵模式主从同步时间不做要求现象Spark批量load数据到redis，主节点没问题，大概10分钟可以写入完成网络IO负载较大，从节点报警is stop，主节点报主从同步异常从节点重启后，从磁盘load数据入内存，十几分钟时间后redis集群恢复正常只要有大量的写都会导致从节点stop，主节点没问题定位分析日志316495:C 19 Mar 16:18:38.002 * RDB: 9198 MB of memory u

用Spark将大量HDFS数据批量写入Redis需求批量读入HDFS离线数据将数据按照partition分区写入redis中redis集群是哨兵模式。使用pipelined方法代码import java.util.Propertiesimport java.utilimport org.apache.commons.pool2.impl.GenericObjectPoolConfigimport org.apache.spark.rdd.RDDimport redis.clients

1.版本说明Anaconda3 == 4.8.3下载地址： https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2020.07-Linux-x86_64.shTensorflow-gpu==2.1.0我的机器有GPU，所以选择gpu版本的。NVIDIA驱动==418.165.02这个NVIDIA驱动版本选择根据选择的tensorflow版本和cuda对应关系确定。我打算用anaconda安装tensorflow-gpu

分区：Partitioning:分区数据通常用于水平分配负载，这具有性能优势，并有助于以逻辑方式组织数据。分区表会更改持久化数据的结构，现在将创建反映此分区结构的子目录。这可以显着提高查询性能，但前提是分区方案反映了常见的过滤 。根据指定列进行分区存储，每个列值一个文件结构。df.write.partitionedBy(column*) .parquet("")分桶：Bucketing:Bucketing是另一种将数据集分解为更易于管理的部分的技术 . 根据提供的列，将整个数据.

一、问题Kafka UI fetched统计问题开发完了代码，洋洋洒洒部署上线。一切都很OK。程序正常启动，kafka生产数据正常发送了。然后查看Kafka的实时曲线图。刚生产的数据，还没有通知消费端消费，却发现《各 Kafka Broker Topics 中的总 Bytes Fetched》的量是《各 Kafka Broker Topics 中的总 Bytes Received》的2倍。纳尼，测试环境没有这个问题啊。。。。第一次在正式环境使用kafka，顿时紧张不行，仔细检查程序，确认不是自己主动.

因为是从同事那同步的代码，执行sbt命令报错Error wrapping InputStream in GZIPInputStream: java.util.zip.ZipException: Not in GZIP format at sbt.ErrorHandling$.translate(ErrorHandling.scala:10) at sbt.Wrap...

问题一、Mac 安装brew二、安装mysqlclient一、Mac 安装brewMac 安装brew时遇到curl: (7) Failed to connect to raw.githubusercontent.com port 443: Connection refused输入指令sudo gem install redis，再输入安装brew指令即可。还有github链接不上的问题，...

整理自己对一些leetcode算法题的想法和实现，一直努力，每天都有新提高–来自一个热爱编程的程序媛1.LeetCode地址：Longest Substring Without Repeating Characters2.难度：medium3.题目：Given a string, find the length of the longest substring without repe...

python技能实践系列（七）-- jupyter notebook 用spark读取本地文件实现简单的wordcount功能如果你正在用的是公司某台机器上的jupyter，不知道当前的工作目录，可以用下面的代码查看。展示的是绝对路径。import osos.getcwd()2.用spark读取当前工作目录下的文件。非远程文件，用file://表示读取本地文件from pysp...

python内置函数有两种，一种是python实现的，一种是C语言实现的。python实现的– 1.直接在IDE里面按住ctrl追踪到源码。– 2.使用help内置函数，例如：help(os)C语言实现的不能直接在IDE里面查看比如 builtins.py里的zip ,需要去Cpython 源码中查看：https://github.com/python/cpython/blob/m...

初始化二维数组a = [[0]*3 ] * 4a[0][0]=1print(a)初始化4行3列的二维数组，想把第一行和第一列的位置赋值为1本来想象输出是[[1,0,0],[0,0,0],[0,0,0],[0,0,0]]结果发现输出是 [[1,0,0],[1,0,0],[1,0,0],[1,0,0]]原因为何？其实[]*N 这种方式初始化的数组，相当于只申请了一个地址空间。空间...

python比较常用的数据结构就是字典，有时候我们需要按照value值对字典进行排序操作。我们知道sorted能对list进行排序。我们就用sorted实现下面写了3中方法。1. 直接转成列表d = {'a': 1, 'b': 4, 'c': 2}# d.items()以列表返回可遍历的(键, 值) 元组数组a = sorted(d.items(), key=lambda x: x[1...

教你初步了解红黑树剑指XX游戏(六) - 轻松搞定面试中的红黑树问题二叉排序树、红黑树、AVL树最简单的理解

竞赛地址轴承故障检测训练赛任务轴承有3种故障：外圈故障，内圈故障，滚珠故障，外加正常的工作状态。如表1所示，结合轴承的3种直径（直径1,直径2,直径3），轴承的工作状态有10类：参赛选手需要设计模型根据轴承运行中的振动信号对轴承的工作状态进行分类。数据*注 : 报名参赛或加入队伍后，可获取数据下载权限。可供下载使用的有2个文件：1.train.csv，训练集数据，1到6000为按...

1.大赛地址北京PM2.5浓度回归分析训练赛看了很长时间机器学习算法了，从这个博客开始打算长期更新一些算法的尝试，在实践中用起来。先从最简单的线性回归开始吧。2.赛题说明数据主要包括2010年1月1日至2014年12月31日间北京pm2.5指数以及相关天气指数数据。数据分为训练数据和测试数据，分别保存在pm25_train.csv和pm25_test.csv两个文件中。其中训练数据主...

峰度和偏度偏度和峰度如何影响您的分布偏度(skewness)和峰度(kurtosis）摘要偏度Skewness定义中包括正态分布（偏度=0），右偏分布（也叫正偏分布，其偏度>0），左偏分布（也叫负偏分布，其偏度<0）峰度Kurtosis包括正态分布（峰度值=3），厚尾（峰度值>3），瘦尾（峰度值<3）型测试我们随机模拟一组正态分布数据，然后用seaborn图像...

ipython notebook 中文显示乱码解决，记录一下，需要加上这两行配置。其实rcParams还可以设置plt很多属性，主要为图片像素什么的，使用了再记录。#设置字体为SimHei显示中文plt.rcParams['font.sans-serif'] = 'SimHei'#设置正常显示字符plt.rcParams['axes.unicode_minus'] = False...

转自：http://www.cnblogs.com/ModifyRong/p/7739955.html1.简介逻辑回归是面试当中非常喜欢问到的一个机器学习算法，因为表面上看逻辑回归形式上很简单，很好掌握，但是一问起来就容易懵逼。所以在面试的时候给大家的第一个建议不要说自己精通逻辑回归，非常容易被问倒，从而减分。下面总结了一些平常我在作为面试官面试别人和被别人面试的时候，经常遇到的一些问题。2...

leetcode 找到能与每个集合相交保留至少2个元素的最小集合Sleetcode题目：https://leetcode.com/problems/set-intersection-size-at-least-two/思路来自：大神太厉害，开始以为很难的题目，发现思想如此简单。https://leetcode.com/problems/set-intersection-size-at-le...