关于padding作用于LinearLayout和RelativeLayout效果的问题

今天学习ListView下拉刷新的时候，想利用padding来隐藏HeaderView，等到滑动时才显示出来，但是如果headerView的布局使用RelativeLayout的话，只要传入的padding值不为0，整个headerView全都被隐藏了，而LinearLayout则能够根据数值的大小来确定隐藏的尺寸，求教这个是什么情况，难道padding对于这两种布局的作用效果不一样吗?
布局和方法如下
private void topPadding(int topPadding){
header.setPadding(header.getPaddingLeft(), topPadding, header.getPaddingRight(), header.getPaddingBottom());
header.invalidate();
}

<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="wrap_content" >

    <RelativeLayout
        android:layout_width="match_parent"
        android:layout_height="wrap_content" >

        <TextView
            android:id="@+id/text_view"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:layout_centerInParent="true"
            android:text="下拉可以刷新" />

        <ImageView
            android:id="@+id/arrow"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:layout_toLeftOf="@id/text_view"
            android:src="@drawable/dd" />

        <ProgressBar
            android:id="@+id/progress"
            style="?android:attr/progressBarStyle"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:layout_toLeftOf="@id/text_view"
            android:visibility="gone" />
    </RelativeLayout>

</LinearLayout>