![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
outs_802432
这个作者很懒,什么都没留下…
展开
-
spark scala,展开数组里的数组
111原创 2022-09-14 19:18:36 · 640 阅读 · 0 评论 -
Exception in thread “main“ java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession
1原创 2022-08-26 17:33:29 · 2028 阅读 · 0 评论 -
Spaek DataFrame 一列变成多列,
111 csdn产品经理是 s d原创 2022-07-07 20:54:10 · 886 阅读 · 0 评论 -
tf.nn.dropout 用法
DropoutDropout在训练时会随机丢弃一些神经元,这样会导致输出的结果变小。而预测时往往关闭dropout,保证预测结果的一致性(不关闭dropout可能同一个输入会得到不同的输出,不过输出会服从某一分布。另外有些情况下可以不关闭dropout,比如文本生成下,不关闭会增大输出的多样性)。为了对齐Dropout训练和预测的结果,通常有两种做法,假设dropout rate = 0.2。一种是训练时不做处理,预测时输出乘以(1 - dropout rate)。另一种是训练时留下的神经元除以(1原创 2022-02-25 18:24:50 · 1416 阅读 · 0 评论 -
spark RDD[Char] to 转换 RDD[String]
保存成HDFS是必须是RDD[String] 类型比如一个 val s = "12e2321312"spark.sparkContext.parallelize(s)直接这样返回的是 RDD[Char] 类型spark.sparkContext.parallelize(Seq(s))这样返回的就是RDD[String]原创 2022-01-26 20:25:42 · 1549 阅读 · 0 评论 -
Exception in thread “main“ java.lang.ArrayStoreException: java.lang.Double at ther.ArrayStoreExce
出现这种报错可以检查一下 类型转换的代码 比如 String转Double,或者相反还有就是解析JSON文件时。{"v1":-0.08643,"v2":0.192}和{"v1":"-0.0321312","v2":"0.105392"}是有区别的,比如把这个JSON解析成Map[String,Double] 还是Map[String,String] 要根据这个JSON里面的value有没引号...原创 2021-12-22 21:07:36 · 453 阅读 · 0 评论 -
TensorFlow二维张量和三维张量内积
方法1 爱因斯坦求和d = tf.ones(shape=[4, 2, 5], dtype=tf.float32) w = tf.random.normal(shape=[2, 4]) einsum = tf.einsum('be,ebd->bd',w,d)print(einsum)输出输出的shape=(2,5)也可以将维度小的一个增加一维,然后交换维度,再按第一维求和d1 = tf.ones(shape=[4, 2, 5], dtype=tf.float32) .原创 2021-11-19 19:45:40 · 1667 阅读 · 0 评论 -
Scala spark 数据形式 Array[((String, Double), Double)] 怎么变成 Array[(String, Double, Double)]
有大佬知道吗 ?原创 2021-10-02 23:47:41 · 408 阅读 · 1 评论 -
RDD 转成 Array
rdd.collect()原创 2021-10-02 23:17:23 · 855 阅读 · 0 评论 -
TensorFlow将float转成byte,byte转int
h = [[312312312.7],[321423423.4]]h = tf.cast(h, dtype=tf.float32)j = tf.bitcast(h, tf.int32)print(j)其中h中的 float是将int转成byte,再转成float32的,所以底层存的还是字节码,现在可以将其还原。tf.Tensor([[1301605392] [1301890114]], shape=(2, 1), dtype=int32)...原创 2021-09-19 17:00:32 · 379 阅读 · 0 评论 -
Python byte数组和float、Int 互相转换 struct pack unpack
def byte2float(x): return struct.unpack('=d', x)[0]def float2byte(f): return [hex(i) for i in struct.pack('f', f)]def int2byte(f): return struct.pack('l', f) # b'\xa0\xb3\xc3=\x0c\x00\x00\x00'def new_float2byte(f): return struct.pa.原创 2021-09-09 19:37:08 · 3857 阅读 · 0 评论 -
java.lang.NumberFormatException: For input string: ““ org.apache.spark.SparkException: : Task[scala]
User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 14.0 failed 4 times, most recent failure: Lost task 0.3 in stage 14.0 (TID 390, 9.54.136.125, executor 9): java.lang.NumberFormatException: For i原创 2021-09-03 11:35:41 · 394 阅读 · 0 评论 -
type mismatch; foundRDD[(Array[Object], Array[Object])] required: RDD[(Array[Int], Array[Int])]scala
type mismatch;found : org.apache.spark.rdd.RDD[(Array[Object], Array[Object])]required: org.apache.spark.rdd.RDD[(Array[Int], Array[Int])]比如我一个方法需要传入的数据是下面的格式可以看到 Array里面需要Int类型的数据,但是没有类型转换的话,会报错,AnyRef 是所有类型的基类,将Array转化一下val data = array...原创 2021-09-02 15:00:00 · 1292 阅读 · 0 评论 -
java.lang.NumberFormatException: For input string: “4504.0“ scala 将字符串转成整数
val ss = "4504.0" val ew = ss.toDouble.toInt println(ew)结果:4504原创 2021-08-30 19:14:34 · 131 阅读 · 0 评论 -
scala 求数组偶数下标位置的元素
object test_string { def main(args: Array[String]): Unit = { val cbdshb = Array(1, 2, 3, 4, 5, 6, 5) val cdsv = cbdshb.zipWithIndex.filter(f => f._2 % 2 == 0).map(f => f._1).map(x => BigDecimal.valueOf(x.toString.toDouble).toI.原创 2021-08-30 17:20:49 · 811 阅读 · 0 评论 -
mac 安装 brew wget出错 No formula or cask found for “wget“
这里写自定义目录标题安装brew替换homebrew源替换homebrew默认源替换homebrew-core源brew更新安装brew/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"如果出现什么连接拒绝的错sudo vim /etc/hosts添加一些GitHub的主机名:~|⇒ brew install wgetUpdating Ho原创 2020-07-01 11:27:54 · 10080 阅读 · 0 评论 -
spark scala 读取文件 Caused by java.lang.NumberFormatException For input string XXX
最近再用spark读取文件sc.textFile读取文本文件出现上面的错,我的文件是以“|” 分割的,怀疑是不是每行的文本串行了,导致字符串移到了下一位 .map(line =>line.split("\\|")) .filter(_.length == 6) 过滤一下每行字符串分割之后的长度就可以了。根据你的需要。注意 “|” 这个符号作为分隔符 要 用\\| 来转义,不然会出错,当时也是在这卡了一会 ...原创 2020-05-30 20:36:31 · 811 阅读 · 0 评论