再次更新

最新推荐文章于 2024-09-15 08:03:51 发布
最新推荐文章于 2024-09-15 08:03:51 发布
阅读量72 收藏
点赞数
文章标签： 数据库 awk
原文链接：http://www.cnblogs.com/code-style/archive/2013/04/16/3024359.html
版权 
#!/bin/sh


###############################################
#                                             #
#  author:lishujun                            #
#  date:2013-4-11                             #
#  use:$orderdetail 2013-4-11                 #
#                                             #
###############################################

### load Library ###

. /www/log/stat/db_alias
. /www/log/stat/public_func
init_date $1
init_db


### define global variable ###

bookStatTable='book_order'
bookNameFile='./tmp/book_name_2013'
orderDetailFile='./tmp/order_detail_2013'
cpBookFile='./tmp/cp_book'
clickedNumberFile='./tmp/click_number'
tempDataFile='./tmp/data'
scriptFile='./tmp/sql_script'


### functions ###

cleanTemporaryFiles()
{
        echo clean temporary files...
        rm $bookNameFile
        rm $orderDetailFile
        rm $cpBookFile
        rm $clickedNumberFile
        rm $tempDataFile
        rm $scriptFile
}

executeSql()
{
        echo writing to database...
        cat $scriptFile | statdb -f
}

loadDataToFiles()
{
        echo load data...
        #load basic info : bookId, bookName, author, class, chapCount
        echo "select id,bookname,author,class,num_chapter from bc_bookinfos" |bookdb -s|piconv -f utf8 -t gb2312 >$bookNameFile

        #load cp books: cpId, bookId
        echo "select cpid,bid from bc_book_charge_cp_bid" |bookdb -s|piconv -f utf8 -t gb2312 >$cpBookFile 

        #load book click number
        echo "select id,num_today_click from bc_bookinfos_ext_stat" |bookdb -s|piconv -f utf8 -t gb2312 >$clickedNumberFile 

        #load order info : userId, bookId, chapId, orderAmount, size, date, time, chargeable
        #for i in `echo "show tables like 'bc_user_charged_list_wap%';"|booknewdb -s`
        #do
        #       sql="select userid,bid,chapterid,price,size,from_unixtime(charged_time),use_curr from $i"
        #                       sql=$sql" where from_unixtime(charged_time) like '$stat_date%' "
        #
        #       echo $sql | booknewdb -s
        #       #echo $sql
        #done >$orderDetailFile

        #load order info : userId, bookId,chapId, orderAmount, size, date, time, chargeable (from merge!!!)
        sql="select userid,bid,chapterid,price,size,from_unixtime(charged_time),use_curr from bc_user_charged_list_wap_merge"
                               sql=$sql" where from_unixtime(charged_time) like '$stat_date%' "
        echo $sql | booknewdb -s |piconv -f utf8 -t gb2312 > $orderDetailFile

}

stat()
{
        echo stat...
        awk -v statDate=$stat_date \
            -v bookStatTable=$bookStatTable \
            -v bookNameFile=$bookNameFile \
            -v cpBookFile=$cpBookFile \
            -v clickedNumberFile=$clickedNumberFile \
            -v tempDataFile=$tempDataFile \
            -v scriptFile=$scriptFile \
        '
                ### util functions ###

                function isVaild(value)
                {
                        if(value > 0)
                                return 1
                        else
                                return 0
                }

                function computeARPU(bookId,books)
                {
                        if(isVaild(books[bookId,"orderUserCount"]) == 0)
                        {
                                return 0
                        }

                        return books[bookId,"orderAmount"] / books[bookId,"orderUserCount"]
                }


                function readerConversionRate(bookId,books)
                {

                        if(isVaild(books[bookId,"clickedUserCount"]) == 0)
                        {
                                return 0
                        }

                        return books[bookId,"readerCount"] / books[bookId,"clickedUserCount"]
                }


                function deepReaderConversionRate(bookId,books)
                {
                        if(isVaild(books[bookId,"readerCount"]) == 0)
                        {
                                return 0
                        split(names,nameArray,",")split(names,nameArray,",")}

                        return books[bookId,"deepReaderCount"] / books[bookId,"readerCount"]
                }

                function readerOrderRate(bookId,books)
                {
                        if(isVaild(books[bookId,"readerCount"]) == 0)
                        {
                                return 0
                        }

                        retunrn books[bookId,"orderUserCount"] / books[bookId,"readerCount"] 
                }

                function browserOrderRate(bookId,books)
                {
                        if(isVaild(books[bookId,"cickedUserCount"]) == 0)
                        {
                                return 0
                        }

                        retunrn books[bookId,"orderUserCount"] / books[bookId,"clickedUserCount"] 
                }

                function lowerStyle(oldStr)
                {
                        newStr = ""
                        for(j=1;j <= length(oldStr);j++)
                        {
                                oneChar = substr(oldStr,j,1)
                                if(match(oneChar,/[A-Z]/) == 0)
                                {
                                        newStr = newStr "" oneChar
                                }
                                else
                                {
                                        if(substr(oldStr,j)=="Id")
                                        {
                                                newStr = newStr "" tolower(oneChar)
                                        }
                                        else
                                        {
                                                newStr = newStr "_" tolower(oneChar)
                                        }
                                }
                        }
                        return newStr
                }


                function getSubArrayNames()
                {
                        #for print
                        #names = "authorId,classId,cpId,chapCount,statDate,orderAmount,orderCount,orderUserCount,orderChapCount,"
                        #names = names "readerCount,deepReaderCount,clickedUserCount,"
                        #names = names "ARPU,readerConversionRate,deepReaderConversionRate,readerOrderRate,browserOrderRate"

                        #for insert
                        names = "authorId,classId,cpId,statDate,orderAmount,orderCount,orderUserCount,"           
                        names = names "readerCount,deepReaderCount,clickedUserCount,"                                                      
                        names = names "ARPU,readerConversionRate,deepReaderConversionRate,readerOrderRate,browserOrderRate"


                        return names
                }

                function makeDeleteSql(bookId)
                {
                        sql = "delete from "bookStatTable" where bookid=" bookId " and stat_date=\"" statDate "\";"
                        print sql >> scriptFile
                }

                function makeInsertSql(bookId,books)
                {
                        names = getSubArrayNames()
                        split(names,nameArray,",")

                        filedNames = ""
                        filedValues = ""

                        for(i in nameArray)
                        {
                                if(nameArray[i] == "ARPU")
                                {
                                        nameArray[i] = "arpu"
                                }
                                filedNames = filedNames "" lowerStyle(nameArray[i]) ","
                                filedValues = filedValues "\"" books[bookId,nameArray[i]] "\","
                        }

                        filedNames = filedNames"bookid"
                        filedValues = filedValues""bookId

                        sql = "insert into " bookStatTable "(" filedNames ") values(" filedValues ");"
                        print sql >> scriptFile
                }

                function printBookStatInfo(bookId,books)
                {
                        names = getSubArrayNames()

                        split(names,nameArray,",")
                        printf("\n\nbookId=%s,detail:\n",bookId) >> tempDataFile
                        for(i in nameArray)
                        {
                                printf("%s is %s\n",nameArray[i],books[bookId,nameArray[i]]) >> tempDataFile
                        }
                }


                ### make books ###
                BEGIN{
                        #load cpId
                        while(getline<cpBookFile == 1)
                        {
                                cpId=$1
                                bookId=$2
                                cpBook[bookId]=cpId
                        }

                        #load clicked stat
                        while(getline<clickedNumberFile == 1)
                        {
                                bookId=$1
                                clickedNumber=$2
                                clickedStatList[bookId]=clickedNumber
                        }

                        #define books
                        while(getline<bookNameFile == 1)
                        {
                                bookId = $1
                                bookName = $2
                                authorId = $3
                                classId = $4
                                chapCount = $5

                                #initialize basic info of this book
                                indexSet[bookId] = bookId
                                books[bookId,"authorId"] = authorId
                                books[bookId,"classId"] = classId
                                books[bookId,"chapCount"] = chapCount
                                books[bookId,"cpId"] = cpBook[bookId]
                                books[bookId,"statDate"] = statDate

                                #initialize browse info of this book
                                books[bookId,"readChapCount"] = 0
                                books[bookId,"readerCount"] = 0
                                books[bookId,"deepReaderCount"] = 0 
                                books[bookId,"clickedUserCount"] = clickedStatList[bookId]

                                #initialize order info of this book
                                books[bookId,"orderAmount"] = 0.0
                                books[bookId,"orderUserCount"] = 0
                                books[bookId,"orderCount"] = 0
                                books[bookId,"orderChapCount"] = 0

                                #initialize ARPU and Rates
                                books[bookId,"ARPU"] = 0
                                books[bookId,"readerConversionRate"] = 0
                                books[bookId,"deepReaderConversionRate"] = 0
                                books[bookId,"readerOrderRate"] =       0
                                books[bookId,"browserOrderRate"] = 0
                        }
                }


                ### compute OrderCost ###
                {
                        userId = $1
                        bookId = $2
                        chapId = $3
                        price = $4
                        size = $5
                        recordDate = $6
                        recordTime = $7
                        chargeable = (int($8) == 0)

                        bookReadUser[bookId,userId]++
                        #element of array defalut is 0.
                        #so , the value is 1 bebind first increment 

                        if(bookId in indexSet)
                        {
                                if(chargeable)
                                {
                                        books[bookId,"orderAmount"] += price
                                }

                                if(bookReadUser[bookId,userId] == 1)
                                {
                                        books[bookId,"orderUserCount"] += 1
                                }

                                if(chapId == 1)
                                {
                                        books[bookId,"orderChapCount"] += book[bookId,"chapCount"]
                                }
                                else
                                {
                                        books[bookId,"orderChapCount"] += 1
                                }

                                books[bookId,"orderCount"] += 1
                        }
                }


                ### make SQL statement ###
                END{
                        print "END..."

                        for (bookId in indexSet)
                        {
                                if (books[bookId,"orderCount"]>0)
                                {
                                        #compute ARPU and Rates
                                        books[bookId,"ARPU"] = computeARPU(bookId,books)
                                        books[bookId,"readerConversionRate"] = readerConversionRate(bookId,books)
                                        books[bookId,"deepReaderConversionRate"] = deepReaderConversionRate(bookId,books)
                                        books[bookId,"readerOrderRate"] = readerOrderRate(bookId,books)
                                        books[bookId,"browserOrderRate"] = browserOrderRate(bookId,books)

                                        #make insert SQL statement
                                        #printBookStatInfo(bookId,books)
                                        makeDeleteSql(bookId)
                                        makeInsertSql(bookId,books)
                                }
                        }
                }
        ' $orderDetailFile
}


main()
{
        cleanTemporaryFiles
        loadDataToFiles
        stat
        executeSql
        echo done
}

#call main function
main

 

转载于:https://www.cnblogs.com/code-style/archive/2013/04/16/3024359.html

weixin_33893473
关注
python pandas DataFrame的一些使用
廷益_飞鸟的博客
10-20 275
1、多索引数据 删除某一索引 fund = get_factor(stocks, factor=['basic_earnings_per_share'], start_date='20170103', end_date='20170103') fund.head() 原始数据 删除date index fund = fund.reset_index(1, drop=True) fund.head() 2、多索引数据 交换索引 fund = get_factor(stocks, factor=['ba
idea中摸鱼插件_IDEA 看书摸鱼插件，时隔一年，再次更新
weixin_39534873的博客
12-20 9055
1340976576：项目地址： https://github.com/yisier/thief-book-idea之前看到有网友开发了一款 PC 端和 VS Code 插件版的小说阅读器(摸鱼神器 Thief-Book )，原创链接地址，但是很可惜的是没有 IDEA 版的，最近刚好比较闲，按照他的原型开发出了类似功能的 IDEA 插件。2020-09-04 日更新记录一年多没有更新，我胡汉三又回...
vue 使用keep-alive使用总结和进入缓存页需要再次更新数据
qq_44552416的博客
03-02 7919
1，描述 在vue项目中,难免会有列表页面或者搜索结果列表页面,点击某个结果之后,返回回来时,如果不对结果页面进行缓存,那么返回列表页面的时候会回到初始状态,但是我们想要的结果是返回时这个页面还是之前搜索的结果列表,这时候就需要用到vue的keep-alive技术了。 2，概念 keep-alive 是 Vue 的内置组件，当它包裹动态组件时，会缓存不活动的组件实例，而不是销毁它们。和 transition 相似，keep-alive 是一个抽象组件：它自身不会渲染成一个 DOM 元素，也不会出现在父组件链
svn Update取消或关闭再次更新失败解决办法
sm983728902的专栏
07-10 5113
（对自己很有帮助）做项目用SVN 本地更新时，由于一些操作中断更新，如磁盘空间不够，用户强行取消等等。可能会造成本地文件被锁定的情况，无法再次执行更新。一般出现这种情况的解决方法： １、可以使用SVN clean up来清除锁定。 ２、如果不是本目录锁定，系统提示上一层目录锁定，需要到上一层或者根目录中清除。 ３、如果在根目录下都无法clean的话，一般采取的方法是另外找一个目录重新
解决SVN Update更新速度为0且再次更新报错问题
又菜又爱玩的小熊
04-13 2951
文章目录一、问题描述1.SVN Update更新速度为02.再次SVN Update更新报错无法更新二、解决方法1.选择Clean up2.勾选Break write locks点击ok即可3.再次SVN Update更新即可 一、问题描述 1.SVN Update更新速度为0 2.再次SVN Update更新报错无法更新 二、解决方法 1.选择Clean up 2.勾选Break write locks点击ok即可 3.再次SVN Update更新即可 ...
KMS模拟器VLMCSD再次更新
热门推荐
gsls200808的专栏
03-17 1万+
对许多windows用户来说，KMS模拟器的出现简直是个福音，帮助大量用户解决了windows/office的激活问题，KMS模拟器从最早的虚拟机镜像移植逐步进化到了现在的RPC报文模拟。 VLMCSD的最近一次更新是2016年3月7日，关于如何使用，可以点这里，这篇文章是以2015年的版本写的 VLMCSD发布地址： http://forums.mydigitallife.info/thre
逃离塔克夫TT辅助注入器再次更新0.56
qq_51391438的博客
06-12 6500
更新版本有0.12.7.9018和0.12.4.6297的辅助TT 下载加群：821414423 部分截图
2021年9月再次更新-日立电梯，艾默生变频器维修图纸，原理图
m0_64719037的博客
12-01 2902
2021年9月再次更新-日立电梯，艾默生变频器维修图纸，原理图，7.5kw EV-ECD01、TD3000、 TD3100 图纸第二版及说明(标注了早期A版和后期B版电路的几处不同，修正原电路图中的几处错误，备注电源板正常工作参数)驱动板型号如图，不同之处在图纸中有标注。id=614683056049& ...
荣耀10青春版鸿蒙,华为副总裁霸气官宣！鸿蒙系统更新机型再次更新：3月31日全新推送升级...
weixin_35251837的博客
05-27 5164
【3月30日讯】相信大家都知道，自从华为遭受到谷歌断供以后，也是被迫发布了HMS生态系统以及华为鸿蒙OS系统，但自从华为鸿蒙OS系统诞生以后，就一直备受广大网友们关注，虽然华为鸿蒙OS系统作为我国首款手机操作系统，但也遭到了不少网友们的“嘲讽”，很多网友们嘲讽到：“鸿蒙就是安卓换皮系统；” 但即便如此，华为依旧还是一如既往地按照自家鸿蒙OS系统发展战略前进，并且在2021年，华为鸿蒙OS系统将会成...
vue keep-alive缓存后，进入缓存页需要再次更新数据
你蠢哭我咯的博客
02-10 9015
在keep-alive时 beforeRouteEnter(to, from, next){ next(vm=&gt;{ console.log(vm) // 每次进入路由执行 vm.getData() }) }, mounted: function () { // 只执行一次的方法 this.getData() }...
esLint配置文件再次更新
09-30
esLint配置文件再次更新
DuiEditor再次更新
08-30
上次的DuiEditor有光标消失的BUG，这次修复了。原因未知。重新编译下莫名其妙就好了。如果有问题在我那个github https://github.com/Sc-Softs/DuiLib_Ultimate 提交issue
千纬认字app再次更新，增加部首、笔画动画功能
05-22
千纬认字app再次更新，增加部首、笔画动画功能
100以内四则运算练习（千纬数学）再次更新，选取难题
06-24
100以内四则运算练习（千纬数学）再次更新，选取难题
广东省企业电子申报管理系统(旧版，安装后要在设置那里更新软件到新版本，中途下载失败再次更新即可)
06-06
广东省企业电子申报管理系统(旧版，安装后要在设置那里更新软件到新版本，中途下载失败再次更新即可)
4.网络编程
weixin_45476535的博客
09-14 453
程序注册端口：1024-49151。单个协议下，端口号不能冲突。公有端口0-1023。
【学习笔记】手写 Tomcat 三
LearnTech_123的博客
09-12 1105
响应动态资源不需要写文件名了，只需要写功能的名称即可。比如登录功能，可以定义名称为 doLogin
55 mysql 的登录认证流程
最新发布
970655147的专栏
09-15 810
这里我们来看一下 mysql 的认证的流程我们这里仅仅看 我们最常见的一个 认证的处理流程我们经常会登录的时候 碰到各种异常信息大概的流程是这样客户端和服务器建立连接之后, 服务器向客户端发送 salt然后 客户端根据 salt 将客户端传入的密码加密之后, 以及相关登录信息传递给服务器然后 服务器进行验证, 验证失败, 响应对应的错误信息给客户端服务器发送 salt 的信息如下客户端发送的认证请求如下服务器响应的认证失败信息如下。
110个oracle常用函数总结
m516387177的博客
09-12 823
nvl2 (expr1, expr2, expr3) ->expr1不为null，返回expr2；为null，返回expr3。nvl(expr1, expr2)->expr1为null，返回expr2；不为null，返回expr1。求最大值,all表示对所有的值求最大值,distinct表示对不同的值求最大值,相同的只取一次。求最小值,all表示对所有的值求最小值,distinct表示对不同的值求最小值,相同的只取一次。nullif (expr1, expr2) ->相等返回null，不等返回expr1。
echarts 使用setOption 后如何再次更新echarts
05-25
要更新 `echarts`，可以通过以下步骤： 1. 获取 `echarts` 实例： ```javascript var chart = echarts.init(document.getElementById('chart')); ``` 2. 使用 `setOption` 方法更新数据： ```javascript ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值